MRZ's blog

版权声明： 除非注明，本博文章均为原创，转载请以链接形式标明本文地址。 从零开始编写大型语言模型（LLM），第二部分 ref: https://www.gilesthomas.com/2024/12/llm-from-scratch-2 发布日期：2024年12月23日 分类：AI, Python, 从零开始编写LLM, TIL深度探索 我正在阅读Sebastian Raschka的书籍《从零开始构建大型语言模型》，并计划每天发布阅读笔记（至少在我阅读的日子里——圣诞节那天我可能不会发布），分享我觉得有趣的内容。 我原本计划每天阅读一章，但对于这样一本内容密集的书来说，这个目标似乎过于乐观了！所以今天，我阅读了第二章“处理文本数据”的前半部分。这一章概述了文本在进入LLM之前的预处理过程，接着描述了一个简单的分词系统（包括源代码），然后简要介绍了我们将在LLM中实际使用的字节对编码方法。 概述 核心思想是，LLM实际上无法直接处理文本——甚至无法直接处理单词。我认为，将文本输入LLM的第一步是进行分词（在我进行微调的冒险中，这一点非常常见），但事实证明，这只是第一步。 处理过程 ...

版权声明： 除非注明，本博文章均为原创，转载请以链接形式标明本文地址。 从零开始构建大型语言模型（LLM），第一部分 ref: https://www.gilesthomas.com/2024/12/llm-from-scratch-1 发布于 2024 年 12 月 22 日，主题：AI、从零开始构建 LLM、TIL 深度探索 在圣诞节假期（可能更久）期间，我计划学习Sebastian Raschka的书《从零开始构建大型语言模型》。我预计每天会学习一章或更少，以便有足够的时间消化内容。每天或每章结束后，我会在这里分享我觉得特别有趣的内容。 今天的内容可能是最简单的部分：第一章《理解大型语言模型》。 正如你所料，这一章主要是重申那些与 LLM 稍有接触的人已经知道的内容，因为 Raschka 需要为后续章节做铺垫。不过，这一章也提到了一些底层技术概念——虽然目前还比较粗略，但这些术语在后续章节中会得到详细解释。 Transformer 核心信息是，Transformer 架构是 LLM 如此强大的原因。他指出，LLM 不一定非得基于 Transformer 构建，基于 Tra ...