学习情况

• 通过 cs224n lecture 9 进一步学习了 注意力机制，single-headed 和 multi-headed attention 的优劣，以及初步的 transformer 模型。
• 通过 cs224n lecture 10 学习了预训练的理念、基本思想以及在NLP中的应用方法。
• 通过 assignment 5 从数学证明角度了解了 single-headed 和 multi-headed attention 的区别。并学习了简单的 GPT 模型代码。

笔记

• cs224n Lecture 9 Self-Attention and Transformers
• cs224n Lecture 10 Transformers and Pretraining

周赛情况

半小时做出了 Q1 和 Q3 ，再用四十分钟做出了 Q2 ，WA 4 次，最终计时 93 分钟，排名 862 。

其实 Q2 也没难到哪里去，但是我对单调性的嗅觉还不够灵敏，用了比较多的时间才想出如何利用它。