Modern C++ Lecture

C++ STL Grammar

python basic usage

Self-Attention 是 Transformer 中最核心的思想，我们在阅读 Transformer 论文的过程中，最难理解的可能就是自注意力机制实现的过程和繁杂的公式。

在 ChatGPT 计算处理完之后，也需要将结果再做逆转换，形成文字形式，反馈给用户。这种转换包括 Tokenizer 和 Embedding，本文要介绍这两个模块。