周赛情况
3 题 + 2 发 WA,最终 593 名。
第四题还是想复杂了,对于 1000 这个数据量来说,平方复杂度是不会超时的。
项目情况
完成了应用 vllm 框架到 fingpt 上的工作,仓库: https://git.arslantu.xyz/arslantu/FinGPT-vllm
主要结论:
- 限制相同最大生成 token 数量,在分配同等数量 GPU 的情况下,使用 vllm 能够显著提高吞吐量,大约 2 - 5 倍。
- 不论使用 vllm 与否,提高使用的 GPU,吞吐量均没有显著提升。
- 使用 vllm 的情况下,分配更多 GPU,能保持更高的利用率。(原版在 GPU 增多时利用率会下降)
- vllm 的输出方式是流输出,它重写了模型的 \
forward\
方法,见 \vllm/model\_executor/models/llama.py\
222 行
其他
- 花三个小时写了个脚本,用于生成目录树: https://git.arslantu.xyz/arslantu/gen_file_tree
- Trilium 导出的
.md
格式还是有些诡异,又要考虑换软件了。
Comments NOTHING