2023 年第 27 周总结

发布于 2023-07-02  136 次阅读


周赛情况

3 题 + 2 发 WA,最终 593 名。

第四题还是想复杂了,对于 1000 这个数据量来说,平方复杂度是不会超时的。

项目情况

完成了应用 vllm 框架到 fingpt 上的工作,仓库: https://git.arslantu.xyz/arslantu/FinGPT-vllm 

主要结论:

  1. 限制相同最大生成 token 数量,在分配同等数量 GPU 的情况下,使用 vllm 能够显著提高吞吐量,大约 2 - 5 倍。
  2. 不论使用 vllm 与否,提高使用的 GPU,吞吐量均没有显著提升。
  3. 使用 vllm 的情况下,分配更多 GPU,能保持更高的利用率。(原版在 GPU 增多时利用率会下降)
  4. vllm 的输出方式是流输出,它重写了模型的 \forward\ 方法,见 \vllm/model\_executor/models/llama.py\ 222 行

其他

  • alipay_img
  • wechat_img
最后更新于 2023-07-11