发布于 2023-07-28
从微调 InternLM 中学到的
简单记录下这次任务中的一些心得 关于并行 DDP 只做了数据并行，而 FSDP 有不同策略，可以在数据并行之外，做到优化器、梯度和 …
LLM
发布于 2023-07-26
LLM 微调——InternLM（非 transformers）
安装 方便起见，将项目迁移到自己的 git 平台。 环境准备 为了不影响服务器上其他用户，采用源码安装到用户目录下。 GCC 参考 …
发布于 2023-07-20
微调 LLM——以 Baichuan-7B 为例
参考视频：https://www.bilibili.com/video/BV1yu411L7JN/ 仓库：https://gith …