Bases

Transformer 模型学习指南 I. 复习大纲

1. 引言 •序列转换模型的局限性（循环神经网络和卷积神经网络）。 •Transformer 模型的提出：完全基于注意力机制，摒弃循环和卷积。 •Transformer 模型的优点：并行化能力强，训练时间短，翻译质量高。 •Transformer 模型在机器翻译和英语成分句法分析上的成功应用。

title: “deep dive into LLMs like ChatGPT” date: 2024-01-01T00:00:00+08:00 draft: false tags: [“资源”, “链接”] categories: [“资源收集”] author: “Peng Tan” description: “deep dive into LLMs like ChatGPT相关资源链接” wordCount: 8 readingTime: 1

什么是 Vector 数据库？

Vector 数据库在自然语言处理、Image Recognition、推荐系统和语义搜索等各个领域发挥着举足轻重的作用，并随着 LLM 的日益普及而变得更加重要。

为什么说神经网络几乎可以学习任何东西？

核心观点： 神经网络之所以被认为几乎能学习任何东西，其核心在于它们的通用近似能力 (Universal Approximation Capability)。这主要由通用近似定理 (Universal Approximation Theorem, UAT) 提供理论支撑。

查询扩展（Query Expansion）

在信息检索中，**查询扩展（Query Expansion）**的核心作用是通过补充或优化用户原始查询的关键词，提升系统对用户需求的理解范围和匹配精度。简单来说，它像一个“智能助手”，帮助搜索引擎或检索系统更全面地捕捉用户意图，避免因用户表达简略、模糊或词汇局限导致的漏检问题。以下是其具体作用和实现逻辑的通俗解释：

title: “Karpathy DeepDive LLM” date: 2024-01-01T00:00:00+08:00 draft: false tags: [“资源”, “链接”] categories: [“资源收集”] author: “Peng Tan” description: “Karpathy DeepDive LLM视频课程” wordCount: 4566 readingTime: 19

[1hr Talk] Intro to Large Language Models

https://www.youtube.com/watch?v=zjkBMFhNj_g 该视频讲稿系统地介绍了大型语言模型（LLMs）。首先，它从基本概念入手，解释了LLM的构成（参数文件和运行代码），并以Llama 2为例进行了说明，强调了其开放权重的特点。接着，深入探讨了LLM的训练过程，分为预训练（海量互联网文本、高昂算力成本）和微调（高质量人工标注数据，塑造助手模型）两个阶段，并提及了可选的**通过人类反馈强化学习（RLHF）**进行性能提升。