打通 AI 底层十层架构：从 LLM 底层引擎到业务应用完整解析

沐光而行

摘要：LLM、Token、Context、Prompt、RAG、Tool、MCP、Agent、Skill、Harness，面对层出不穷的 AI 名词，很多人只会简单和 AI 对话，并不理解背后整套运行逻辑。本文自底向上逐层拆解 AI 完整技术链路，看懂这套架构，就能快速理解绝大多数 AI 产品的工作原理，学习新工具、做 AI 落地都会事半功倍稀土掘金。

很多人每天都在使用 AI，但大多停留在输入问题、接收回答的表层。各种新概念轮番出现：LLM、Token、Context、Prompt、RAG、Tool、Agent、MCP、Skill、Harness。单独看每个名词好像都懂，但说不清它们之间的层级与依赖关系。
AI 产品不是单一模型，而是一套层层组装起来的完整系统。下面从最底层的模型引擎，一层一层向上拆解整套 AI 十层架构。

第一层：LLM 大语言模型，AI 的核心引擎

整个 AI 系统最底层的地基就是LLM 大语言模型（Large Language Model），市面上绝大多数 AI 产品，底层都依托大语言模型运行。
几乎全部主流大模型，都建立在Transformer 架构之上。2017 年 Google 发表论文《Attention Is All You Need》提出这套架构，相当于大模型的发动机；真正让这项技术大规模普及的，却是 OpenAI。2022 年底 GPT‑3.5 问世，标志大模型正式进入可用时代；2023 年 GPT‑4 发布，进一步拉高模型能力上限。如今赛道不再是一家独大，豆包、DeepSeek、Claude、Gemini 等各类大模型，都在各自领域形成竞争力。

通俗理解大模型工作原理：本质是一个高级文字接龙。当你输入问题，模型会计算预测概率最高的下一个单元，把生成的内容追加到输入末尾，继续预测下一段，循环往复直到输出结束标记，最终给到我们完整回答。这也是 AI 输出内容逐字蹦出来的根本原因。

第二层：Token，AI 世界的最小信息积木

大模型本质是一套复杂数学函数，它不认识汉字、英文，只处理数字矩阵运算。人和模型之间有一个翻译组件 Tokenizer（分词器）：负责把人类文字编码转换成数字，模型运算完成后，再把数字解码还原成可读文字。
而Token就是经过切分之后，模型真正处理的最小信息单元。⚠️Token≠汉字，也不等于词语。参考换算：1 Token≈0.75 个英文单词；1 个中文 Token 大约对应 1.5‑2 个汉字。40 万 Token，大约等于 60‑80 万汉字，接近整本《西游记》篇幅。
Token 直接决定三件事：上下文窗口上限、算力消耗、调用成本。当产品宣传 128K、百万 Token 上下文，本质就是在描述这套系统一次最多可以处理多少块 “积木”。
第三层：Context 上下文，AI 的临时记忆体

很多人疑惑：为什么 AI 可以记住前面的对话？比如我告诉 AI “我叫李四”，后续对话中 AI 可以记得我的名字。大模型本身没有持久记忆能力，它不会存储对话。每一轮提问，系统都会把全部历史对话、系统指令、工具描述、用户当前问题，全部打包成 Token 一起提交给模型。这一整包全部信息，就是Context 上下文，相当于 AI 的临时工作台与短期记忆。
正是依靠上下文，你写完一份工作总结，只需要说 “把内容缩减到 200 字”，AI 就知道要修改的对象是刚刚生成的文档，而不需要重复粘贴全部内容。
而上下文窗口（Context Window），就是这套临时记忆体的最大容量。百万级上下文窗口，代表一次可以把上百万汉字的资料全部放进对话环境。窗口大小有上限，一旦 Token 总量超出，就会发生内容截断，丢失部分历史信息。
第四层：Prompt 提示词，下达任务的指令

有了上下文承载信息，还需要告诉模型要完成什么任务，这就是Prompt 提示词。简单讲，Prompt 就是给 AI 下达的任务指令。
同样一个大模型，指令模糊和指令明确，输出质量天差地别。

• 模糊指令：帮我写一首诗；模型输出不可控，古诗、现代诗、打油诗都有可能。
• 清晰指令：写一首五言绝句，主题秋日落叶，整体风格悲凉；模型输出高度贴合预期。
  

Prompt 分为两类：

• User Prompt 用户提示词：用户手动输入的提问、要求；
• System Prompt 系统提示词：后台预设的规则、人设、约束，用户不可见，全程约束模型行为。例如设定 “你是耐心数学老师，不直接给答案，引导思考”。
  

曾经火热的提示词工程，核心就是写清楚指令、设定角色与约束；现在大模型能力变强，模糊指令也能得到还不错结果，但高质量 Prompt 依旧是获得稳定输出的基础。
第五层：RAG 检索增强生成，给 AI 配备专职资料员

RAG 全称 Retrieval‑Augmented Generation，检索增强生成。
新的痛点出现：我们有大量私有文档，比如企业手册、产品资料。如果把几十万字文档全部塞进上下文，极易撑爆窗口，调用成本极高。同时大模型训练数据有时间截止，无法知道最新信息，还容易产生幻觉编造内容CSDN博...。
RAG 的解决方案：不需要把全部文档丢给大模型，先做检索。用户提问时，RAG 系统在知识库中找出和问题高度相关的片段，只把这些片段和用户问题一起送入上下文。
通俗比喻：大模型是聪明但记性有限的员工，RAG 就是专职资料员。用户提问，资料员翻阅海量资料，只摘取两三段关键材料递给员工，员工依据参考资料作答。
RAG 四大核心收益：

• 突破上下文窗口限制，无需完整加载全部文档；
• 减少 Token 消耗，降低调用成本；
• 答案基于真实文档素材，大幅降低 AI 幻觉；
• 支持私有文档、实时资料，不受模型训练时间限制。
  

第六层：Tool 工具调用，给 AI 装上手脚

大模型本身只是语言生成，无法感知现实世界。直接问它今日城市天气，模型往往回答无法获取实时信息。它不能联网、不能调用接口、不能操作外部系统。
Tool工具调用，就是为大模型装上手脚。工具本质就是一个个可执行函数：传入参数，外部系统返回结果。完整工具调用流程四个参与方：用户、大模型、平台网关、外部工具。
举个完整例子：用户问 “今天杭州天气如何”

• 平台把用户问题 + 可用工具清单提交给大模型；
• 大模型判断需要查询天气，输出一段标准化工具调用指令；
• 重点：模型不能直接调用工具，只负责输出调用指令，由平台网关真正发起接口请求；
• 获取天气接口返回的数据，回传给大模型；
• 大模型整合原始数据，组织自然语言回复用户。
  

大模型在这里只负责两件事：决策要不要调用工具、整理工具返回结果，真正执行动作的是外部平台。
第七层：MCP 模型上下文协议，AI 工具的通用插座

工具调用普及之后出现新麻烦：不同厂商平台，工具接入规范互不兼容。一套天气查询工具，如果要适配多个 AI 平台，就要开发多套适配代码，维护成本极高。
MCP 全称 Model Context Protocol，模型上下文协议，是一套开放标准化协议，用来统一 AI 与外部工具、数据源的对接方式稀土掘金。
可以把 MCP 理解成 AI 世界的 USB 通用插座：工具按照 MCP 标准实现一次，所有支持 MCP 的 AI 系统，都可以直接接入这套工具，不用重复开发适配代码，解决多平台工具碎片化难题。
MCP 定义资源、工具、提示模板三类核心原语，支持本地进程调用和远程网络调用，现在已经被大量 AI 开发工具采纳腾讯云。
第八层：Agent 智能体，自主完成多步骤复杂任务

前面的 Tool 只是单次调用；Agent 智能体，是可以自主规划、循环思考、多轮调用工具，完成复杂长流程任务的系统。
当任务无法一步完成，Agent 会自动拆解目标：思考当前需要做什么、选择对应的工具、拿到结果之后再判断下一步行动，循环迭代直到任务闭环。
举例：帮我规划一次 3 天短途旅行。Agent 会自动执行：调用天气工具查询目的地天气 → 调用搜索工具查景点、美食 → 查询交通方案 → 整理预算，多步自动串联完成整套方案，不需要用户一步一步下达指令。
Agent 的核心是思考‑行动循环（ReAct）：思考→行动→观察结果→再次思考。
第九层：Skill 技能，封装可复用业务能力

Skill 是面向业务的封装单元，把一套高频的 Agent 流程、工具组合封装成标准化技能。
例如 “客户复盘生成”“周报自动整理”“简历解析”，把整套提示词、RAG 知识库、工具调用逻辑打包为 Skill。不同业务场景直接复用这套能力，不用每次从零编排 Prompt 和工具，是面向业务落地的抽象层。
第十层：Harness 运行沙箱与编排层，安全管控整套 AI 流程

最顶层 Harness，也就是运行时沙箱 / 编排层，是整套 AI 系统的运行容器。它承担的职责：权限管控、工具安全隔离、多技能调度、输入输出校验、异常降级、日志审计。
AI 系统可以调用文件、数据库、第三方接口，必须由 Harness 层做安全隔离，防止越权访问、恶意提示注入，保证 Agent 执行过程可控、可追溯。很多产品的企业级安全、权限控制，都集中在这一层。
十层架构总结

层级	名称	核心定位
第一层	LLM 大语言模型	AI 大脑，核心推理引擎
第二层	Token 分词单元	AI 最小信息积木
第三层	Context 上下文	临时记忆、完整输入环境
第四层	Prompt 提示词	下达任务指令，设定规则
第五层	RAG 检索增强生成	接入私有知识库，减少幻觉
第六层	Tool 工具调用	单次外部能力调用，装上手脚
第七层	MCP 协议	工具统一接入标准，通用插座
第八层	Agent 智能体	自主规划多步骤复杂任务
第九层	Skill 业务技能	封装可复用业务流程
第十层	Harness 编排沙箱	运行管控、安全隔离、调度审计

写在最后：市面上绝大多数 AI 产品，并不是单独靠一个大模型就实现全部能力。模型只是地基，上层由 Token、上下文、知识库、工具、智能体、安全编排层层叠加。理解这套分层逻辑，遇到新的 AI 概念，你就可以快速定位它处在整个链路哪一环，看懂产品本质。

免责声明：本文内容基于公开技术资料整理，技术标准会持续迭代更新，请以官方最新文档为准。