技术百科 今日: 0|主题: 190|排名: 10 

一、流式输出底层本质：模型天生逐 Token 生成 生活化类比 [*]非阻塞一次性返回（传统接口）：厨师做完一整桌菜再全部端上桌，用户长时间空白加载； [*]流式输出：开放式厨房，做好一道菜立刻送上，用户几秒就能看到首段文字，等待感知大幅降低。 核心底层逻辑：大模型采用自回归生成机制，无法一次性输出完整文本。每 ...

一、基础概念：HTTP 与 HTTPS 到底是什么？ 1. HTTP（超文本传输协议） 全称 HyperText Transfer Protocol，是互联网应用层基础通信规范，定义浏览器、客户端如何向服务器发起请求、服务器如何返回网页、图片、接口数据、状态码（200 成功 / 404 不存在 / 500 服务异常等）。 [*]传输特性：纯明文传输，无任何加密保护 ...

一、Token 基础定义与 Tokenizer 分词原理 通俗类比 文字是人类语言，Token 是大模型唯一能识别的最小计算单元，Tokenizer 分词器相当于翻译官，把中文、英文、代码、符号拆成标准化数字 ID 送入神经网络计算。不要简单等价于汉字 / 单词： [*]高频中文词汇（人工智能）常合并为 1 个 Token； [*]生僻字、长英文单词、J ...

一、基础概念定义：API 面向程序，MCP 面向大模型智能体 1. API（Application Programming Interface，应用程序编程接口） API 是软件之间约定的静态通信契约，以 REST、HTTP 为主流实现形式。开发者提前查阅接口文档，硬编码请求地址、入参格式、鉴权规则，由应用程序主动发起固定请求，获取单次响应结果。 [*]核心定 ...

一、运行时环境基础定义与生活化类比 运行时环境：静态源码无法独立执行，程序启动后完整依赖的全套执行支撑体系，包含解释器 / 虚拟机、硬件驱动、依赖库、系统权限、环境变量、外部中间件。生活化厨房类比： [*]业务代码 = 一份菜谱（仅有文字逻辑，无法做菜） [*]运行时环境 = 完整厨房：燃气灶（CPU/GPU）、锅具（解 ...

一、为什么需要模型蒸馏？大模型落地的天然矛盾 主流大模型（30B/70B 参数）性能强大，但部署门槛极高： [*]算力资源消耗大：单次推理占用数十 GB 显存，大规模并发场景需要采购大量高端 GPU，企业 API 调用成本居高不下；据阿里云行业测算，百万级日活客服系统，直接调用千亿大模型 API 的月度成本可达数十万。 [*]推理 ...

一、基础概念：缓存、缓存命中、KV 缓存到底是什么 1. 通用缓存通俗类比 缓存是计算机通用加速方案，相当于临时储物货架：重复使用的数据提前计算并存储，二次调用无需重复运算，直接读取复用。 [*]缓存命中：本次请求的内容在缓存中已存在，直接复用计算结果； [*]缓存未命中：无历史缓存记录，需要完整从头运算，消耗 ...

一、Embedding 基础定义与生活化类比 Embedding（嵌入 / 向量）：将文字、图片、音频、商品等人类可读非结构化信息，转化为一组固定长度浮点数字（高维向量），搭建可计算的语义数学空间。生活化地图类比：整个语义世界是一张数百维巨型地图；每一句话、词语、图片对应空间里一个坐标点；语义含义越接近的内容，坐标距离 ...

一、微调基础定义：不用从零造模型，给通用大模型定向 “岗前培训” 1. 通俗解释 微调全称模型微调 Fine-tuning：以已经完成海量公开数据预训练的通用大模型为底座，使用企业自有私有数据、标准问答、业务规范、行业案例继续二次训练，小幅调整模型内部参数，让模型深度适配垂直领域业务逻辑、专业术语、固定输出格式与 ...

一、上下文窗口基础定义与生活化类比 核心概念 上下文窗口是大模型单次推理可见全部 Token 总容量上限，等同于 AI 的短期工作台，只保存本轮推理输入全部内容：系统提示词、历史对话、检索文档、工具返回结果。超出窗口容量的内容，模型完全无法读取，并非 AI 拥有永久长期记忆。生活化工作台类比： [*]上下文窗口 = 一 ...

一、AI 幻觉基础定义与典型表现 1. 核心定义 AI 幻觉指大语言模型生成的文本、代码、多模态内容，语句逻辑自洽、表达高度自信，但与客观事实、权威资料、官方规范严重不符，甚至完全无中生有。关键点：AI 不存在主观意识，不会刻意欺骗人类，所有虚假内容都是概率推演的副产品。 2. 四类常见幻觉表现 [*]事实虚构型（ ...

一、推理模型基础定义与直观类比 生活化认知类比 [*]传统通用 LLM（直觉式 System 1）：看到问题直接凭借训练语料统计概率脱口给出答案，无验算环节，简单闲聊速度快，但复杂逻辑极易一步出错、连锁编造； [*]推理模型（分析式 System 2）：拿到复杂问题先 “打草稿”，分步拆解条件、逐层推导、主动自查逻辑漏洞，发现 ...

一、基础定义：什么是模态？什么是多模态 AI？ 1. 模态：信息的传递载体 “模态” 就是人类接收信息的不同渠道，对应 AI 可读取的数据类型： [*]文本模态：文章、提问、代码、合同文字； [*]视觉模态：图片、截图、图表、照片、视频帧； [*]音频模态：人声、环境音、录音、音乐波形； [*]时序模态：完整视频、传感器连 ...

一、MCP 基础定义与通俗类比 MCP 全称Model Context Protocol，由 Anthropic 开源发布、基于 JSON-RPC2.0 构建的跨模型通用通信协议，核心定位是 AI 世界的「通用 USB 接口」。生活化类比： [*]过去工具调用：每款 AI = 专用设备，每种外设（文件 / 数据库）单独写驱动，5 个模型 + 10 套工具需要 50 套对接代码； [*]MC ...

一、摩尔定律基础定义：不是物理定理，是半导体产业经验规律 1. 起源与标准表述 摩尔定律由英特尔联合创始人戈登・摩尔在 1965 年发表行业观察文章首次提出电子工程专...： [*]最初预测：集成电路上的元器件数量每年翻一倍； [*]1975 年修正：调整为每 18~24 个月，芯片内晶体管数量翻倍，这也是如今通用标准定义抖音百 ...

一、RAG 核心定义与底层解决的痛点 RAG 全称Retrieval-Augmented Generation，检索增强生成。核心逻辑：大模型不再仅凭内部训练记忆作答，先从外部私有知识库检索与用户问题高度相关的文档片段，将参考资料与用户提问一同封装进提示词，约束模型仅依据检索内容输出答案。 生活化类比：原生大模型 = 只记住 2024 年前课本 ...

一、基础定义：AI Agent 不是聊天机器人，是能自主完成任务的数字执行者 普通大模型对话机器人是被动响应：你提问，它单次输出答案，任务到 “给出文字内容” 就终止。AI Agent 的核心是目标驱动自主闭环执行：收到用户模糊目标后，自主拆解步骤、调用外部工具、读取数据、根据执行结果调整行动，直到完整交付最终成果， ...

一、向量数据库核心定义与通俗类比 向量数据库是专门存储高维语义向量、提供高效相似度检索的专用数据库，核心目标：不依赖关键词字面匹配，按照内容语义远近查找相似资料。 生活化类比： 传统 MySQL 模糊检索 = 只找文字一模一样的句子； 向量数据库 = 读懂文字含义，同义、近义词内容全部匹配出来。 举例： 查询「笔 ...

一、防火墙通俗定义：网络世界的门卫安检口 防火墙不是实体墙体，而是一套流量访问控制机制，部署在网络数据必经节点，按照预设安全规则对数据包做放行 / 拦截判断。 我们可以用办公楼安检做类比： 互联网 = 外部陌生人员，内网机房 = 办公楼核心区域，防火墙就是大门口门卫。员工凭工牌放行、访客登记管控、不明身份人 ...

一、什么是模型参数量？通俗底层定义 生活化类比 把大模型看作一套海量数学计算公式，参数（权重 / 偏置）就是公式里可调节的数字旋钮。训练阶段通过海量文本自动微调所有旋钮，让模型学会语言逻辑、知识、推理规则。 简单示例：房价预测公式 价格 = A × 面积 + B，A、B 就是 2 个基础参数；而 LLM Transformer 模型 ...

一、负载均衡基础定义与生活化类比 负载均衡（Load Balancing，简称 LB）是一套流量分发调度机制，作为系统统一入口，将用户请求均匀分配至多台后端服务器，避免单机算力、内存、带宽资源被耗尽。 生活化奶茶店类比： [*]用户对话请求 = 买奶茶顾客 [*]多台 vLLM/GPU 推理服务器 = 多个出餐窗口 [*]负载均衡器 = 门店 ...

一、OpenClaw 基础定义与核心定位 1. 什么是 OpenClaw OpenClaw 是一套开放式计算机使用 AI 智能体运行框架（开源、支持本地私有化部署），关键词拆解： [*]开放：非闭源黑盒，完整开放接口、数据流转、底层执行逻辑，开发者可自定义工具、权限、执行规则，兼容 Ollama、GPT、Claude 等主流大模型本地 / 云端推理ar ...

一、什么是 Attention？通俗底层定义 生活化图书馆类比 把 AI 模型理解成图书管理员，用户提问是检索需求，长篇上下文是海量书籍文本。 传统模型：把整本书压缩成一句短摘要，长内容关键信息直接丢失； 注意力机制：管理员拿到需求后，动态检索全书，给相关段落高权重、无关内容低权重，只提取关键信息整合回答。 核 ...

一、Transformer 诞生：解决传统序列模型致命缺陷 在 Transformer 问世前，机器处理文本、时序数据主流依靠 RNN/LSTM 循环网络，存在两大无法根治的痛点： 1. 长距离依赖丢失（“读了后面忘前面”） 循环网络是严格串行读取文本：从第一个词读到最后一个词，信息只能顺着单向链条传递。当句子、段落很长时，开头词语 ...

一、反向代理基础定义与生活化类比 反向代理部署在服务端前端，作为所有用户请求统一唯一入口。用户访问域名时只会与代理服务器交互，代理根据预设规则转发至后端多台推理 / 应用服务，客户端全程无法感知内部服务器集群结构。 生活化快递收发室类比： 用户（网购客户）只对接小区收发室（Nginx 反向代理），收发室再 ...

一、传统 HTTP 实时方案：短轮询与长轮询的致命缺陷 在 WebSocket 诞生前，开发者只能基于 HTTP 模拟 “实时更新”，主流两种方案都存在明显短板。 1. 短轮询（Short Polling） 客户端设置定时器，每隔固定时间（1~5 秒）主动发起 HTTP 请求，服务器无论有无新数据都立刻返回结果并关闭连接。 [*]优点：实现极简， ...

一、NAT 基础定义与生活化类比 NAT 全称Network Address Translation（网络地址转换），是路由器、光猫、云网关、Docker 内核内置的地址转换技术，核心作用：将内网私有 IP 与公网 IP 互相翻译，让多台设备共用单一公网 IP 访问互联网，解决 IPv4 地址全球枯竭难题。 生活化公司总机类比： [*]内网私有 IP = 办公室分 ...

一、UDP 基础定义与核心四大特性 UDP 全称用户数据报协议（User Datagram Protocol），位于 TCP/IP 传输层，是极简无连接传输协议。 生活化类比：UDP 如同平邮明信片，无需提前打电话确认对方是否在线，写完直接投递，不跟踪是否送达；TCP 是挂号快递，层层确认签收，保障万无一失。 四大核心底层特性： [*]无连接：收 ...

一、TCP 基础定义与核心特性 TCP 全称传输控制协议（Transmission Control Protocol），位于 TCP/IP 四层模型传输层，是 HTTP、SSE、WebSocket、数据库、模型下载接口底层依赖协议。 四大核心底层特性： [*]面向连接：传输数据前必须握手建立专属通信通道，通信结束规范断开； [*]可靠传输：数据包不丢失、不重复、不 ...

一、CDN 核心定义与生活化类比 CDN 全称Content Delivery Network（内容分发网络），由遍布全国 / 全球的边缘节点、全局调度系统、源站三部分组成。核心思路：把内容提前下沉到离用户最近的机房，用户请求就近响应，减少跨地域长途网络传输。 生活化快递驿站类比： [*]源站 = 总部大仓库（存放完整模型、网站源码） [ ...

一、虚拟内存核心定义与通俗类比 基础概念 虚拟内存是操作系统内核实现的内存抽象分页机制，为每一个进程分配一套独立、连续的虚拟地址空间。程序读写时操作的全部是虚拟地址，由 CPU 内置硬件 MMU 自动翻译成真实物理内存地址；当物理内存耗尽，内核会把长期闲置内存页面写入硬盘 Swap 分区临时兜底存储。 生活化类 ...

一、内核基础定义与内核态 / 用户态隔离机制 1. 内核通俗类比 内核是操作系统底层硬件总管理员，直接运行在 CPU 最高特权模式。所有上层应用（FastAPI、vLLM、Ollama、Python 脚本）均属于普通用户程序，没有权限直接读写 CPU、内存、GPU、网卡等硬件资源，所有硬件操作请求都必须通过系统调用（syscall） 交由内核统 ...

一、寄存器基础定义与通俗类比 寄存器是集成在 CPU 核心内部、与 CPU 同频运行的高速存储单元，是整个计算机存储层级里速度天花板。 生活化厨师类比： CPU = 炒菜厨师 寄存器 = 手边备菜小盘（伸手即取，零等待） L1/L2 缓存 = 灶台储物盒 内存 = 楼下冷藏仓库 硬盘 = 城郊大型仓储 所有数学运算、向量浮点计算，数据必 ...

一、缓存底层核心定义与基础机制 1. 缓存通俗本质 缓存核心思想：以存储空间换取访问速度，将高频重复计算、高频读取的数据，复制一份存放在距离访问者更近、读写速度更快的介质；原始数据存储在数据库、GPU 显存、远端磁盘等低速介质，仅缓存未命中时才回源读取 / 计算。 生活化类比：桌面水杯 = 缓存，桶装水 = 原始 ...

一、协程核心定义与底层原理 协程（Coroutine）是用户态自主调度的轻量执行单元，区别于操作系统抢占式线程，协程控制权由代码主动让出（await/yield），无需内核介入切换，切换开销微乎其微。 通俗书签类比 普通同步函数：一本书必须从头读到尾，中途等待网络 / IO 时全程卡死； 协程：读到等待节点夹上书签，先去处 ...

一、线程基础核心定义 线程（Thread）是操作系统 CPU 调度最小执行单元，依附于进程存在；一个程序启动后，操作系统默认创建一条主线执行入口逻辑，开发者可手动创建多条子线程并行处理多任务。 生活化类比 进程 = 独立门店，拥有完整场地、设备（独立内存）； 线程 = 门店内多名员工，共享店内全部资源，每人单独负 ...