发布于 2023-07-28
摘要
简单记录下这次任务中的一些心得 关于并行 DDP 只做了数据并行，而 FSDP 有不同策略，可以在数据并行之外，做到优化器、梯度和 …
文章
发布于 2023-07-26
摘要
安装 方便起见，将项目迁移到自己的 git 平台。 环境准备 为了不影响服务器上其他用户，采用源码安装到用户目录下。 GCC 参考 …
发布于 2023-07-23
摘要
本周初休息了两天，也没什么活要干倒是…… 周赛情况 这次是两题 Hard 的场，侥幸做出三题。 一开始看 T4 通过人数比 T3 …
发布于 2023-07-21
摘要
本文翻译自博主 Sam 的文章—— Hashing。 部分内容的翻译使用了 ChatGPT 和微软翻译。 All content …
发布于 2023-07-20
摘要
参考视频：https://www.bilibili.com/video/BV1yu411L7JN/ 仓库：https://gith …
发布于 2023-07-19
摘要
周赛情况 本周没打 学习情况 跟随教程复现了一遍 Transformer，对其结构和 attention 机制有了更好地理解。 在 …