2.1 框架

从大型语言模型（LLM）框架的角度来看，可以将LLM主要分为以下几种类型，其中MoE和Dense是两种重要的架构类型：

3.1 Prompt

Prompt 最初是 NLP（⾃然语⾔处理）研究者为下游任务设计出来的⼀种任务专属的输⼊模板，类似于⼀种任务（例如：分类，聚类等）会对应⼀种 Prompt。在 ChatGPT 推出并获得⼤量应⽤之后，Prompt 开始被推⼴为给⼤模型的所有输⼊。即，我们每⼀次访问⼤模型的输⼊为⼀个 Prompt，⽽⼤模型给我们的返回结果则被称为 Completion。

3.2 Temperature

LLM ⽣成是具有随机性的，在模型的顶层通过选取不同预测概率的预测结果来⽣成最后的结果。我们⼀般可以通过控制 temperature 参数来控制 LLM ⽣成结果的随机性与创造性。

Temperature ⼀般取值在 0~1 之间，当取值较低接近 0 时，预测的随机性会较低，产⽣更保守、可预测的⽂本，不太可能⽣成意想不到或不寻常的词。当取值较⾼接近 1 时，预测的随机性会较⾼，所有词被选择的可能性更⼤，会产⽣更有创意、多样化的⽂本，更有可能⽣成不寻常或意想不到的词。

3.3 思维链（Chain-of-Thought, CoT）

思维链方法的核心思想是将思考的过程及其相关的观念和想法串联起来，形成一个连续的思维链条。这种链条可以由线性或非线性的思维过程构成，从而帮助模型不断延伸和扩展思考。相比于之前传统的上下文学习（即通过 x1, y1, x2 ,y2 ,.... xtest 作为输入来让大模型补全输出 ytest），思维链多了中间的推导提示。

输入: 问题X
输出: 答案Y
                                            

输入: 问题X
中间: 思考步骤1 → 步骤2 → 步骤3...
输出: 答案Y
                                            

3.4 LLM 基本训练方法

3.5 预训练（Pretraining）

LLM 训练通常采用大规模无监督学习，即：

1. 从互联网上收集大量文本数据，如书籍、新闻、社交媒体等。
2. 让模型学习词语之间的概率分布，理解句子结构。
3. 训练目标是最小化预测误差，使其能更好地完成语言任务。

3.6 后训练（Post-training）

• 监督微调 (Supervised Fine-Tuning, SFT): 使用带有标注的特定任务数据对模型进行训练。
• 指令微调 (Instruction Tuning): 使用指令格式的数据集对模型进行微调，使其能够理解并遵循人类指令。
• 基于人类反馈的强化学习 (RLHF): 通过人类对模型输出的偏好反馈，训练一个奖励模型，然后利用强化学习算法调整大模型的行为，使其生成更符合人类偏好的输出。
• 直接偏好优化 (DPO): 一种简化了RLHF流程的方法，直接使用人类偏好数据训练模型，无需单独训练奖励模型。

3.7 强化学习（Reinforcement Learning, RL）

采用强化学习（RL）方法进行优化，主要通过人类反馈强化学习（RLHF,Reinforcement Learning from Human Feedback）：

1. 人类标注者提供高质量回答。
2. 模型学习人类评分标准，提高输出质量。
3. 强化训练，使得生成的文本更符合人类偏好。

DeepSeek-R1 完整训练过程

DeepSeek-R1 主要亮点在于出色的数学和逻辑推理能力，区别于一般的通用 AI 模型。其训练方式结合了强化学习（RL）与监督微调（SFT），创造了一种高效训练，高推理能力 AI 模型的方法。

整个训练过程分为核心两阶段，第一步训练基于 DeepSeek-V3 论文中的基础模型（而非最终版本），并经历了 SFT 和基于纯强化学习调优 + 通用性偏好调整，如下图

训练起点: DeepSeek-R1 的训练起点是 DeepSeek-v3-Base，作为基础模型进行训练，为后续的推理优化奠定基础。

4.1 API 调用

4.2 RAG

开源 RAG 框架推荐：Cohere；Cognita

4.3 Agent

Agent 的研究可以追溯到 20 世纪 50 年代，当时被称为"智能体"或"自主体"。随着人工智能技术的发展，Agent 的概念和应用也越来越广泛。

Agent 具有以下核心概念：

• 感知（Perception）：Agent 通过传感器感知外部环境，获取信息。
• 决策（Decision Making）：Agent 根据感知到的信息进行决策，确定下一步行动。
• 执行（Execution）：Agent 根据决策执行相应的动作，影响外部环境。
• 学习（Learning）：Agent 通过与环境的交互，不断学习和优化自己的决策和执行策略。

AI Agent的在大模型时代由OpenAI团队重新定义。OpenAI认为，AI Agent就是由大模型驱动，由规划能力组件（Planning）、记忆组件（Memory）、工具组件（Tools）、行为组件（Action）等组件所组成的"智能助手"。

目前好用的Agent平台是Coze\Dify\n8n

coze的一个实例(舆情分析)

还有看起来更加"科幻"Agent产品形式-- Manus, 本质是一个多 Agent 系统, 其开源版本 OpenManus

• FoundationAgents/OpenManus | DeepWiki
• OpenManus Hackathon项目投票

4.4 MCP(大模型上下文协议)

MCP 起源于 2024 年 11 月 25 日 Anthropic 发布的文章：Introducing the Model Context Protocol。

MCP （Model Context Protocol，模型上下文协议）定义了应用程序和 AI 模型之间交换上下文信息的方式。这使得开发者能够以一致的方式将各种数据源、工具和功能连接到 AI 模型（一个中间协议层），就像 USB-C 让不同设备能够通过相同的接口连接一样。MCP 的目标是创建一个通用标准，使 AI 应用程序的开发和集成变得更加简单和统一。

所谓一图胜千言，我这里引用一些制作的非常精良的图片来帮助理解