AI 术语百科

面向普通人的 AI 高频术语百科,用核心词条和分类卡片建立稳定坐标。

AI 术语百科

这里不是按字母顺序硬背术语的地方。更好的读法是:先抓核心词,再用分类卡片查缺补漏。

AI 词汇的问题在于层级混乱。同一个讨论里,可能同时出现 AI、机器学习、Transformer、RAG、Agent、AGI、GPU、alignment。它们不在同一层:有的是能力范围,有的是模型结构,有的是产品方法,有的是治理问题。

怎么读这个百科

如果你刚开始,建议先按这条线读:

  1. AI、机器学习、深度学习:先分清大类。
  2. 神经网络、Transformer、Token、Embedding:理解模型怎么处理信息。
  3. LLM、Prompt Engineering、RAG、Fine-Tuning:理解大模型应用怎么搭起来。
  4. Hallucination、Bias、Alignment:理解风险和治理问题。
  5. AGI、ASI:最后再看前沿讨论,不要一上来被未来叙事带跑。

核心词条

AGI通用人工智能

能在很多不同任务中学习、迁移和解决问题的人工智能目标。

深讲

AI人工智能

让机器表现出识别、预测、生成、决策等智能行为的一大类技术。

深讲

ASI人工超级智能

在大量关键脑力任务上显著超过人类的未来 AI 设想。

深讲

Agents智能体

围绕目标拆任务、调用工具并持续推进流程的 AI 系统。

深讲

Alignment对齐

让 AI 的目标、行为和结果尽量符合人的真实意图与安全边界。

深讲

Bias偏差

数据、模型或系统设计中使结果持续偏向某些群体、结论或判断方式的系统性倾向。

深讲

Deep Learning深度学习

使用多层神经网络从数据中学习表示的机器学习分支。

深讲

Diffusion Models扩散模型

通过学习逐步去噪过程来生成图像等内容的一类生成模型。

深讲

Embedding嵌入

把文本、图像等对象转换成向量表示的方法。

深讲

Fine-Tuning微调

在已有模型基础上用特定数据继续训练,让它适配任务或风格。

深讲

Foundation Model基础模型

先在广泛数据上预训练、再被适配到多种任务的模型底座。

深讲

GPU图形处理单元

擅长并行计算、因此成为 AI 训练和推理主力的通用加速芯片。

待扩写

Generalization ability泛化能力

模型把训练中学到的规律带到新数据、新任务或新场景里仍能有效工作的能力。

深讲

Generative AI / Gen AI生成式 AI

专注于生成新文本、图像、音频、视频或代码等内容的 AI 分支。

深讲

Hallucination幻觉

模型生成了听起来可信、但并不被事实、来源或输入依据支持的内容。

深讲

Inference推理

把训练好的模型用于新输入,生成预测、判断或回答的过程。

深讲

LLM大语言模型

用大量文本和参数训练、擅长语言处理与生成的模型。

深讲

Machine Learning机器学习

让模型从数据中学习规律并用于预测或决策的 AI 分支。

深讲

MoE专家混合模型

把很多专家模块放进模型里,但每次只激活少数几个的稀疏架构。

深讲

Neural Network神经网络

由多层计算单元和连接权重组成的机器学习模型。

深讲

Overfitting过拟合

模型过度记住训练数据,导致新数据表现变差的问题。

深讲

Prompt Engineering提示工程

设计输入指令和上下文,让模型更稳定完成任务的方法。

深讲

RAG检索增强生成

先检索资料,再让生成模型基于资料回答的方法。

深讲

Regularization正则化

通过约束模型复杂度来降低过拟合风险的方法。

深讲

Reinforcement Learning强化学习

让智能体通过行动和奖励学习策略的机器学习方法。

深讲

Supervised Learning监督学习

用带标签的数据训练模型预测正确输出的机器学习方法。

深讲

Token词元

语言模型处理文本时使用的基本计算单位。

深讲

Training Data训练数据

用于训练模型、让模型学习规律的数据集合。

深讲

TransformerTransformer 模型

基于注意力机制的深度学习架构,是现代大语言模型核心基础之一。

深讲

Underfitting欠拟合

模型太简单或训练不足,无法学到数据中的基本规律。

深讲

Unsupervised Learning无监督学习

在没有人工标签的情况下从数据中发现结构或模式的方法。

深讲

Validation Data验证集

用于调参和评估模型泛化表现的独立数据子集。

深讲

Vector Database向量数据库

用于存储 Embedding 并按语义相似度检索资料的数据库系统。

深讲

全部术语

AI 术语百科

99 个公开术语

所有词先提供短解释,核心词再升级成来源清晰、图文并茂的独立页面。

通识11技术80产品4公司2商业2

AI 基础概念

先分清 AI 的基本边界、历史路线和未来设想。

读这一类

AGI

通用人工智能通识

能在很多不同任务中学习、迁移和解决问题的人工智能目标。

AGI 不是某个单一产品名,而是对更通用智能能力的追求。它强调跨领域处理问题,而不只是完成某个固定任务。

常见误解:不要把会聊天的大模型直接等同于 AGI,行业里对 AGI 的标准仍有争议。

核心词AIANIASILLM
阅读全文

AI

人工智能通识

让机器表现出识别、预测、生成、决策等智能行为的一大类技术。

AI 是最大的总称,推荐算法、图像识别、大语言模型和自动驾驶都可以放在这个范围里。不同 AI 的能力边界差异很大。

常见误解:AI 不是一个统一能力等级,不能因为一个系统会写文章,就推断它也能可靠做所有事情。

核心词ANIAGIMachine LearningGenerative AI / Gen AI
阅读全文

AIGC

人工智能生成内容商业

用 AI 生成文本、图片、音频、视频、代码等内容的应用形态。

AIGC 更偏应用和产业语境,关注 AI 能产出什么内容,以及这些内容如何进入创作、营销、教育和办公流程。

常见误解:AIGC 不等于所有 AI,它只是 AI 在内容生成方向上的一个重要分支。

Generative AI / Gen AIDiffusion ModelsChatGPTGAN

ANI

狭义人工智能通识

擅长特定任务、但不具备通用智能的 AI。

今天大多数 AI 系统都更接近 ANI:它们可以在棋类、推荐、识别、生成等任务上很强,但能力通常受训练目标和使用场景限制。

常见误解:专门任务上的高水平表现,不代表系统拥有人的常识、目标和长期理解能力。

AIAGIASI

ASI

人工超级智能通识

在大量关键脑力任务上显著超过人类的未来 AI 设想。

ASI 主要出现在未来能力和风险治理讨论里。它不是当前已经公开公认实现的系统,而是帮助人们提前讨论极强 AI 的影响。

常见误解:不要把 ASI 当成已经上市的产品,也不要把所有风险讨论都当成确定预言。

核心词AGIAlignmentSingularityScaling Law
阅读全文

Connectionism

联结主义通识

用大量连接和权重模拟学习能力的 AI 思路。

联结主义可以理解成让系统从数据中调整连接强度,而不是手写每条规则。今天的深度学习属于这个路线的重要代表。

常见误解:联结主义不是唯一 AI 路线,符号主义和混合方法也很重要。

Neural NetworkDeep LearningSymbolic AI

Generalize

广义化通识

把具体概念扩展到更大范围或更一般形式的过程。

广义化可以理解成从具体例子抽出更通用的说法。在 AI 语境里,它和模型能不能迁移规律有关。

常见误解:广义化不是随意扩大概念范围,必须保留关键边界。

Generalization abilityMachine Learning

Generative AI / Gen AI

生成式 AI通识

专注于生成新文本、图像、音频、视频或代码等内容的 AI 分支。

生成式 AI 关心的是模型如何产出新内容,而不只是做判断、分类或推荐。ChatGPT、AI 绘画、语音克隆和视频生成,都是普通人最常见的入口。

常见误解:生成式 AI 不等于内容一定真实,也不等于只有聊天机器人;它是一个覆盖文本、图像、音频、视频和代码生成的大类。

核心词AIGCDiffusion ModelsLLMMultimodal
阅读全文

Singularity

奇点技术

一种关于技术增长失控或不可预测转折点的未来设想。

AI 奇点常用于讨论当智能系统自我改进或能力增长超过人类理解时,社会可能进入难以预测的新阶段。

常见误解:奇点不是已发生事实,也不是有确定日期的事件。

ASIAGIAlignment

Symbolic AI

符号主义通识

用显式符号、规则和逻辑推理构建智能系统的 AI 路线。

符号主义强调知识和推理可以用规则表达。专家系统就是典型例子,它和从数据中学习的联结主义形成对照。

常见误解:符号主义不是过时无用,现代 AI 仍会在工具、知识图谱和推理系统中使用符号方法。

ConnectionismExpert SystemsAI

System1/System2

系统 1 / 系统 2通识

把快速直觉与慢速理性区分开的思考框架。

系统 1 常指快速、自动、直觉式判断,系统 2 常指慢速、费力、理性分析。AI 讨论里常借它解释快速生成和深度推理的差异。

常见误解:这不是严格的脑区划分,也不能简单套成模型真的拥有两套人类思维系统。

CoTInferenceLLM

Turing test

图灵测试技术

通过对话判断机器是否表现出类似人类智能的思想实验。

图灵测试关注的是机器在交流中能否让人难以区分它和人。它是 AI 历史上很重要的讨论起点。

常见误解:通过图灵测试不等于机器真正理解,也不等于达到 AGI。

AIChatbotAGI

机器学习基础

理解模型如何从数据中学习,以及常见训练问题。

读这一类

Data Augmentation

数据增强技术

通过改造现有样本增加训练数据多样性的方法。

数据增强像是给模型多看同一类问题的不同变体。图像里可以翻转、裁剪、加噪声,文本里可以改写或扩展样本。

常见误解:数据增强不是凭空制造真实数据,低质量增强也可能把模型带偏。

Training DataOverfittingRegularization

Deep Learning

深度学习技术

使用多层神经网络从数据中学习表示的机器学习分支。

深度学习是机器学习里非常重要的一条路线。它通过多层神经网络,从原始数据中逐层学出更抽象、更适合任务的表示。

常见误解:深度学习不是机器学习的全部,也不是层数越多就一定越好。今天的大模型属于深度学习,但深度学习不只等于大模型。

核心词Machine LearningNeural NetworkCNNTransformer
阅读全文

End-to-End Learning

端到端学习技术

直接从原始输入学习到目标输出的机器学习方式。

端到端学习减少了手工设计中间步骤,让模型自己从输入到输出学映射。语音识别、自动驾驶和翻译里都常讨论它。

常见误解:端到端不等于没有工程设计,数据、目标、评估和系统边界仍然很重要。

Machine LearningTraining DataDeep Learning

Few-Shot

小样本学习技术

用少量示例帮助模型完成新任务的学习或提示方式。

Few-Shot 可以出现在训练里,也可以出现在提示词里。给模型几个例子,通常能让它更清楚输出格式和判断标准。

常见误解:少量样本不代表一定可靠,任务复杂时仍需要更多数据或验证。

Zero-ShotPrompt EngineeringTransfer Learning

Fitting

拟合技术

模型学习数据规律并尽量匹配真实输出的过程。

拟合就是让模型的预测越来越接近训练数据里的答案。好的拟合要抓住规律,而不是记住偶然噪声。

常见误解:拟合越好不一定越能泛化,过拟合会让模型在新数据上表现变差。

OverfittingUnderfittingLoss Function

Generalization ability

泛化能力技术

模型把训练中学到的规律带到新数据、新任务或新场景里仍能有效工作的能力。

泛化能力强,说明模型学到的不是死记训练样本,而是更可迁移的规律。它决定模型离开实验环境后还能不能靠谱。

常见误解:训练集分数高不等于泛化好;只有在验证集、测试集甚至真实世界里还能稳定表现,才说明它真的学会了。

核心词OverfittingValidation DataDouble DescentScaling Law
阅读全文

Machine Learning

机器学习技术

让模型从数据中学习规律并用于预测或决策的 AI 分支。

机器学习不是把规则一条条写死,而是给系统数据和目标,让它从样本里学出可用模式。深度学习是机器学习里最重要的一条路线之一。

常见误解:机器学习不是所有 AI 的同义词,也不是数据越多越自然正确。真正关键的是数据质量、训练方式和模型能否泛化。

核心词AIDeep LearningTraining DataValidation DataSupervised Learning
阅读全文

Overfitting

过拟合技术

模型过度记住训练数据,导致新数据表现变差的问题。

过拟合像考试只背原题,换个题就不会。模型在训练集上很好,但到了真实场景可能出错。

常见误解:训练准确率高不一定是好消息,要看验证集和真实数据表现。

核心词FittingRegularizationValidation Data
阅读全文

Regularization

正则化技术

通过约束模型复杂度来降低过拟合风险的方法。

正则化像给模型加规矩,让它不要过度依赖训练数据中的细枝末节。它常用于提升泛化能力。

常见误解:正则化不是越强越好,过强会导致模型学不到足够规律。

核心词OverfittingGeneralization abilityData Augmentation
阅读全文

Reinforcement Learning

强化学习技术

让智能体通过行动和奖励学习策略的机器学习方法。

强化学习不是直接看标准答案,而是在环境里不断行动,通过奖励信号慢慢学出更好的策略。游戏、机器人控制和偏好优化里都会用到它。

常见误解:强化学习不是奖励越多越简单,奖励设计错误会诱导模型学出看起来聪明但目标跑偏的行为。

核心词PPORLHFAgentsMachine Learning
阅读全文

Supervised Learning

监督学习技术

用带标签的数据训练模型预测正确输出的机器学习方法。

监督学习就像给模型看题目和标准答案。分类、回归、识别等任务都常用这种方式训练,是很多入门机器学习任务最常见的方法。

常见误解:监督学习依赖标注质量,标签错了或偏了,模型也会跟着学偏。它也不等于所有机器学习。

核心词Training DataValidation DataSFTMachine Learning
阅读全文

Training Data

训练数据技术

用于训练模型、让模型学习规律的数据集合。

训练数据决定模型能看到什么世界。模型从这些数据里学模式,所以数据的质量、覆盖范围和偏差,会直接影响模型输出。

常见误解:数据多不等于数据好,重复、污染、偏差和标签质量问题都会直接影响模型。

核心词Validation DataBiasSupervised LearningMachine Learning
阅读全文

Transfer Learning

迁移学习技术

把已有任务学到的能力迁移到新任务上的方法。

迁移学习像先学通用基础,再去适配新场景。预训练模型和微调就是很常见的迁移思路。

常见误解:迁移不是直接复制答案,新任务差异太大时仍需要数据和验证。

Pre-trainingFine-TuningFew-Shot

Underfitting

欠拟合技术

模型太简单或训练不足,无法学到数据中的基本规律。

欠拟合像连基础题型都没学会。模型在训练集和新数据上都表现不好,说明它没有捕捉到必要模式。

常见误解:欠拟合不是只在小模型里发生,错误特征、数据不足或训练不当也会导致它。

核心词FittingOverfittingLoss Function
阅读全文

Unsupervised Learning

无监督学习技术

在没有人工标签的情况下从数据中发现结构或模式的方法。

无监督学习常用于聚类、降维和表示学习。模型没有标准答案,而是自己寻找数据中的相似性、结构和潜在规律。

常见误解:无监督不是没人设计目标,算法仍然有假设、目标和评估方式。它只是没有像监督学习那样的显式标签。

核心词Machine LearningEmbeddingTraining DataDeep Learning
阅读全文

Validation Data

验证集技术

用于调参和评估模型泛化表现的独立数据子集。

验证集像练习后的模拟考试。它不参与直接训练,而是用来判断模型是否过拟合、调参是否有效,以及不同方案谁更靠谱。

常见误解:验证集不是测试集,也不应该被反复调到失去独立性。验证集一旦被过度利用,结果就会越来越不可靠。

核心词Training DataOverfittingHyperparameter TuningMachine Learning
阅读全文

Zero-Shot

零样本学习技术

没有看到特定任务样本时,仍尝试完成新任务的能力或方法。

零样本学习依赖模型已有知识和泛化能力。大模型常能在没有示例的情况下,根据指令完成新格式任务。

常见误解:零样本不等于零成本可靠,复杂任务仍需要示例、验证或微调。

Few-ShotGeneralization abilityPrompt Engineering

模型与训练机制

把神经网络、参数、损失、优化和推理放在一张图里看。

读这一类

Attention

注意力技术

模型在处理输入时,为不同信息分配不同关注权重的机制。

可以把 Attention 理解成模型在阅读一句话时,不会平均看待每个词,而是会根据当前任务判断现在最该看哪里。它帮助模型在长上下文里抓住重点,也是 Transformer 能高效处理语言和多种序列数据的关键机制之一。

常见误解:Attention 不是人的意识,也不表示模型真的理解了重点。它本质上是一种计算相关性、分配信息权重的方法。

TransformerTokenInferenceParameters

Backpropagation

反向传播技术

把输出误差从后往前传回网络各层,用来计算参数该如何调整的方法。

训练时,模型先做一次前向计算,给出预测结果;再用损失函数衡量错了多少。反向传播会把这个错误信息沿着网络倒推回去,计算每一层参数分别该往哪个方向改、改多少。它本身不直接更新参数,而是为后续优化步骤提供依据。

常见误解:反向传播不等于模型在反思自己的错误。它是一个数学求导和误差分配过程,主要发生在训练阶段,不是日常使用模型时的过程。

Loss FunctionGradient DescentForward PropagationParameters

Forward Propagation

前向传播技术

输入数据经过神经网络各层得到输出的计算过程。

前向传播就是模型从输入算到输出的过程。训练时先前向得到预测,再用反向传播更新参数。

常见误解:前向传播不是训练的全部,它只负责产生输出,参数更新还需要反向传播和优化器。

BackpropagationNeural NetworkInference

Gradient Descent

梯度下降技术

根据损失变化方向,一步步调整参数以减少错误的优化方法。

如果把损失函数想成一片高低起伏的地形,梯度下降就是模型沿着往下走的方向不断试探,让自己从更高的错误位置走向更低的错误位置。每一步走多大、往哪边走,都会影响训练速度和稳定性。

常见误解:梯度下降不是一下子找到最优答案的魔法方法。它通常只能不断改进,而且结果会受到学习率、初始化、数据分布和优化细节影响。

Loss FunctionBackpropagationHyperparameter Tuning

Hidden Layer

隐藏层技术

神经网络中位于输入层和输出层之间的计算层。

隐藏层负责把输入逐步转换成更有用的内部表示。深度学习中的“深”通常和隐藏层数量有关。

常见误解:隐藏层不是不可研究的神秘空间,只是用户不直接输入或读取的中间计算层。

Neural NetworkForward PropagationLatent Space

Hyperparameter Tuning

超参数调优技术

选择学习率、层数等训练前配置值的过程。

超参数不是模型从数据里自动学出的权重,而是训练前或训练中由人和系统配置的选项。调优会影响速度、稳定性和效果。

常见误解:调超参数不是玄学试运气,应该结合验证集、实验记录和目标指标。

Validation DataParametersGradient Descent

Inference

推理技术

把训练好的模型用于新输入,生成预测、判断或回答的过程。

推理可以理解成模型正式上岗。训练阶段是在调整参数、学会模式;推理阶段则是把已经学到的能力拿来处理新问题。你问聊天机器人一个问题、让图像模型识别照片内容,或者让推荐系统给出结果,本质上都属于推理。

常见误解:推理在工程语境里不一定指复杂逻辑思考,它更多是指模型运行并产出结果。即使输出看起来像思考,底层仍是在调用已训练好的参数做计算。

核心词Forward PropagationLLMAttentionParameters
阅读全文

Knowledge Distillation

知识蒸馏技术

让小模型学习大模型行为,以降低部署成本的方法。

知识蒸馏像让学生模型模仿老师模型。它常用于模型压缩、边缘部署和降低推理成本。

常见误解:蒸馏不等于完整复制大模型能力,小模型仍会受容量和训练数据限制。

PruningFoundation ModelInference

LSTM

长短期记忆技术

一种适合处理序列数据的循环神经网络结构。

LSTM 通过门控机制缓解普通 RNN 难以记住长距离信息的问题。它曾广泛用于语音、文本和时间序列任务。

常见误解:LSTM 不是大语言模型的主流底座,现代 LLM 主要依赖 Transformer。

RNNTransformerNLP

Latent Space

潜在空间技术

模型内部用于表示数据特征的压缩空间。

潜在空间可以理解成模型整理出来的抽象坐标系。相似对象在这个空间里通常更接近,生成模型也常在这里进行变化和控制。

常见误解:潜在空间不是现实中的物理空间,而是模型内部表示。

EmbeddingVectorDiffusion Models

Loss Function

损失函数技术

衡量模型当前输出离目标答案有多远的函数。

损失函数像训练时的扣分规则。模型先给出一个答案,再由损失函数计算这个答案和正确结果差多少。差得越多,损失越大;差得越少,损失越小。训练的一个核心目标,就是让损失逐步下降。

常见误解:损失函数不是对模型好坏的唯一最终评价。训练损失变小,说明模型更贴合训练目标,但不一定代表它在真实场景里一定更有用、更公平或更可靠。

Gradient DescentBackpropagationObjective FunctionParameters

MHA

多头注意力技术

让模型从多个角度同时关注输入信息的注意力机制。

多头注意力可以让模型并行捕捉不同关系,比如语法、指代、局部和全局信息。它是 Transformer 的核心组成之一。

常见误解:多个头不等于多个独立模型,而是同一结构里的多组注意力计算。

AttentionTransformerToken

MLA

元学习算法技术

关注如何让模型更快学会新任务的学习算法方向。

元学习常被概括为“学会如何学习”。它希望模型在遇到新任务时,用更少数据和更少步骤适配。

常见误解:元学习不是让模型拥有人的自我学习意识,而是训练策略上的设计。

Few-ShotTransfer LearningMachine Learning

Neural Network

神经网络技术

由多层计算单元和连接权重组成的机器学习模型。

神经网络通过层与层之间的权重把输入逐步转换成输出。训练时,模型会不断调整这些权重,让自己在样本上学出更有用的映射关系。

常见误解:神经网络只是受大脑启发,不等于真实复刻人脑。它本质上是可训练的数学模型,而不是电子大脑。

核心词Deep LearningHidden LayerWeightMachine Learning
阅读全文

Objective Function

目标函数技术

模型训练或优化时希望最大化或最小化的目标。

目标函数告诉系统到底在优化什么。损失函数通常是目标函数的一种具体形式,用来衡量错得多不多。

常见误解:目标函数设计不当会让模型学会错误行为,所以目标本身也需要审查。

Loss FunctionGradient DescentAlignment

Parameters

参数技术

模型在训练过程中学出来、决定其行为的内部数值。

参数可以理解成模型记住经验的方式。训练时,模型会不断调整这些内部数值,让输出更接近目标答案。神经网络里的权重和偏置都属于参数。参数不是模型看到的原文知识清单,而是模型把大量样本压缩后形成的一套内部表示。

常见误解:参数多不等于一定更聪明。参数规模只说明模型容量更大,效果还取决于数据质量、训练方法、架构设计和推理方式。

WeightGradient DescentBackpropagationInference

Pre-training

预训练技术

在大规模数据上先训练模型,让它获得通用能力的阶段。

预训练像先打基础。模型先从大量数据中学语言、图像或世界模式,再通过微调、指令调优或检索进入具体应用。

常见误解:预训练不是最终产品,后续还需要对齐、评估和部署。

Foundation ModelFine-TuningLLM

RNN

循环神经网络技术

适合处理序列数据的一类神经网络。

RNN 会把前一步的信息带到下一步,适合文本、语音和时间序列。后来 LSTM 改进了它处理长距离依赖的能力。

常见误解:RNN 不是今天大语言模型的主流结构,Transformer 已成为更常见的基础。

LSTMTransformerNLP

Vector

向量技术

由一组数字组成、可表示方向和大小的数学对象。

在 AI 里,文本、图片和用户行为都可以被表示成向量。向量让机器能计算相似度、距离和关系。

常见误解:向量不是内容原文,而是便于计算的数字表示。

EmbeddingVector DatabaseLatent Space

Weight

模型权重技术

神经网络连接中的可学习参数,决定信号如何传递。

权重像模型内部的调节旋钮。训练会改变这些值,让模型更好地把输入映射成输出。

常见误解:权重不是人工手写知识点,而是训练过程学出的数字参数。

ParametersNeural NetworkGradient Descent

大模型与提示工程

理解 LLM、Token、提示、检索增强和偏好优化。

读这一类

CoT

思维链提示技术

用中间步骤提示模型进行更复杂推理的方法。

CoT 的核心是让模型把问题拆开,逐步处理。它常被用于数学、逻辑、规划等需要多步推理的任务。

常见误解:模型写出的推理步骤不一定等于真实内部过程,仍需要校验答案。

Prompt EngineeringLLMInference

DPO

直接偏好优化技术

直接用偏好数据优化模型输出倾向的训练方法。

DPO 常用于让模型更偏向人类喜欢的回答风格或质量。它绕开了部分传统强化学习流程,工程上更直接。

常见误解:DPO 不是安全的全部,它只能影响模型偏好,不能替代系统级治理。

RLHFPPOAlignment

Embedding

嵌入技术

把文本、图像等对象转换成向量表示的方法。

Embedding 像是给内容生成一个可计算的位置。意思相近的内容会在向量空间里更接近,所以它常用于搜索、推荐和 RAG。

常见误解:Embedding 不是把内容原文保存下来,而是保存便于比较的数学表示。

核心词VectorVector DatabaseRAG
阅读全文

Fine-Tuning

微调技术

在已有模型基础上用特定数据继续训练,让它适配任务或风格。

微调像是在通用模型上继续训练一段,让它更熟悉某个领域、格式或任务。它常用于垂直场景和企业内部模型。

常见误解:不是所有问题都需要微调,很多知识更新和问答场景用 RAG 更合适。

核心词Pre-trainingInstruction TuningSFT
阅读全文

GQA

图问答技术

基于图结构或图数据进行问题回答的技术方向。

GQA 关注的是当知识以图结构连接时,模型如何理解节点、关系和路径,并据此回答问题。

常见误解:GQA 不是普通的文本问答,它依赖图结构中的关系信息。

RAGVector DatabaseNLP

GPO

广义策略优化技术

用于改进策略学习效率的一类优化思路。

GPO 可以放在策略优化和偏好训练的大框架里理解。普通读者只需要知道它和让模型选择更好行为有关。

常见误解:GPO 不是通用提速按钮,具体效果依赖训练目标、数据和实现方式。

PPORLHFReinforcement Learning

Instruction Tuning

指令调优技术

用指令和答案数据训练模型,让它更会按要求完成任务。

指令调优让模型更懂“请总结”“请翻译”“按这个格式输出”等用户意图。它是把基础模型变成可用助手的重要步骤。

常见误解:指令调优不是给模型临时写提示词,而是训练阶段的适配。

Fine-TuningSFTPrompt Engineering

KTO

知识迁移优化技术

用偏好或迁移信号提升模型在新任务上表现的优化思路。

KTO 可放在模型对齐和偏好优化家族里理解。普通读者只需知道它试图让模型更好利用反馈,改善输出选择。

常见误解:KTO 不是知识库,也不是直接把资料塞给模型。

DPORLHFTransfer Learning

LLM

大语言模型技术

用大量文本和参数训练、擅长语言处理与生成的模型。

LLM 是 ChatGPT 等产品背后的关键模型类型。它通过预测和生成文本来完成写作、问答、总结、翻译和代码等任务。

常见误解:LLM 不是知识库本身,回答可能受训练数据、上下文和生成机制影响。

核心词TransformerTokenChatGPT
阅读全文

NLP

自然语言处理技术

研究机器如何处理、理解和生成自然语言的领域。

NLP 包括分词、分类、翻译、问答、摘要和对话等任务。大语言模型是 NLP 发展中的重要阶段。

常见误解:NLP 不只等于聊天,也包括搜索、信息抽取、文本分类等大量基础任务。

LLMTransformerToken

PPO

近端策略优化技术

强化学习中常用的一类策略优化算法。

PPO 常出现在 RLHF 训练流程讨论中,用来让模型在优化奖励的同时避免策略变化过猛。

常见误解:PPO 不是大模型唯一训练方法,也不是普通用户写提示词会直接接触的东西。

RLHFReinforcement LearningDPO

Prompt Engineering

提示工程技术

设计输入指令和上下文,让模型更稳定完成任务的方法。

提示工程不是写神秘咒语,而是把任务、背景、格式、约束和示例交代清楚,让模型更容易按要求输出。

常见误解:提示词不能解决所有问题,知识缺口、权限、数据质量和模型能力仍然会限制结果。

核心词CoTFew-ShotInstruction Tuning
阅读全文

RAG

检索增强生成技术

先检索资料,再让生成模型基于资料回答的方法。

RAG 常用于企业知识库、文档问答和客服。它让模型在回答前先拿到相关资料,从而降低乱编和知识过期问题。

常见误解:RAG 不能自动保证答案正确,检索质量、资料质量和引用方式都很关键。

核心词EmbeddingVector DatabaseHallucination
阅读全文

RLHF

基于人类反馈的强化学习技术

用人类偏好反馈训练奖励模型或调整模型行为的方法。

RLHF 让模型更贴近人类偏好的回答方式。它常用于把基础模型调成更有帮助、更可控的助手。

常见误解:RLHF 不等于让模型拥有价值观,它只是把特定反馈转成训练信号。

PPODPOAlignment

SFT

监督微调技术

用人工整理的指令和答案对模型进行监督训练的阶段。

SFT 常用于让基础模型先学会按指令回答。它通常发生在预训练之后、偏好优化之前或旁边。

常见误解:SFT 不是所有微调的同义词,它特指监督数据驱动的指令适配。

Fine-TuningInstruction TuningRLHF

Token

词元技术

语言模型处理文本时使用的基本计算单位。

Token 可能是一个字、一个词或词的一部分。模型按 Token 计算输入输出,所以上下文长度和费用常和 Token 数有关。

常见误解:Token 不完全等于汉字或英文单词,不同分词器的切分方式也不同。

核心词LLMTransformerPrompt Engineering
阅读全文

Transformer

Transformer 模型技术

基于注意力机制的深度学习架构,是现代大语言模型核心基础之一。

Transformer 能高效处理序列里的上下文关系,让模型更容易抓住长距离依赖,也是今天大多数大语言模型的重要结构基础。

常见误解:Transformer 不是某一家公司的产品,也不等于所有大模型。它是一类模型架构,而 LLM 是建立在这种架构之上的更完整系统。

核心词AttentionMHALLMNeural Network
阅读全文

Vector Database

向量数据库技术

用于存储 Embedding 并按语义相似度检索资料的数据库系统。

向量数据库常和 RAG、语义搜索一起使用。它把内容向量和来源元数据存起来,用户提问时按相似度找出可能相关的资料片段。

常见误解:向量数据库不是万能知识库,也不会自动判断资料真假;资料切分、嵌入质量、权限、重排和引用检查都会影响最终答案。

核心词EmbeddingRAGPrompt EngineeringFine-Tuning
阅读全文

生成式与多模态

把图像、视频、视觉理解和跨模态能力放到生成式 AI 里理解。

读这一类

CLIP

对比语言图像预训练技术

把文字和图像对齐到同一语义空间的视觉语言模型方法。

CLIP 会让模型同时看图和读字,并学会判断哪段文字更像在描述这张图。这样一来,模型就能把文字和图像放进同一个可比较的语义空间,进而支持图像检索、图像理解和文生图条件控制。

常见误解:CLIP 本身不负责把图片直接画出来,它更像文字和图像之间的对齐器,经常和扩散模型或其他视觉模型配合使用。

MultimodalCVEmbeddingDiffusion Models

CNN

卷积神经网络技术

擅长提取局部图像特征、长期用于视觉任务的一类神经网络结构。

CNN 会用卷积核在图像上滑动,逐步抓住边缘、纹理、形状等局部线索。它曾长期是图像分类、目标检测等任务的主力结构,也帮助很多人第一次理解“模型怎么看图”。

常见误解:CNN 不是所有视觉 AI 的总代称,更不等于今天所有图像生成模型;不少新系统已经大量使用 Transformer 或扩散模型。

CVNeural NetworkDeep LearningTransformer

CV

计算机视觉技术

让机器识别、理解、生成和处理图像或视频的 AI 方向。

计算机视觉研究的是机器怎么“看懂”视觉世界。它既包括识别这张图里有什么,也包括分割、追踪、三维重建,以及根据文字或图片继续生成新视觉内容。

常见误解:CV 不只等于拍照识别或人脸识别,它也覆盖视频理解、机器人感知、三维场景建模和生成式视觉。

CNNCLIPNeRFMultimodal

Cross-modal generalization

跨模态泛化技术

模型把一种模态学到的能力迁移到另一种模态上的能力。

例如模型从文字和图片之间学到关联后,能更好处理看图问答或用文字找图。它是多模态 AI 的关键能力之一。

常见误解:跨模态泛化不是简单把不同数据拼在一起,而是要学到可迁移的表示。

MultimodalCLIPEmbedding

Diffusion Models

扩散模型技术

通过学习逐步去噪过程来生成图像等内容的一类生成模型。

扩散模型可以粗略理解为先把目标内容想成一团噪声,再让模型一步步把噪声整理成清晰图像。今天很多文生图、图生图和视频生成系统,都把它当作核心生成方法。

常见误解:扩散模型不只是“把图画得更漂亮”的技巧,它还牵涉采样速度、条件控制、训练数据来源和生成结果版权等现实问题。

核心词Generative AI / Gen AIGANCLIPMultimodal
阅读全文

GAN

生成对抗网络技术

让生成器和判别器相互博弈来生成新数据的一类生成模型方法。

GAN 可以理解成一个模型负责造,一个模型负责挑错。生成器想骗过判别器,判别器想识破生成器;两边反复对抗,最后能产出越来越像真的图片、音频或其他数据。

常见误解:GAN 不是所有生成式 AI 的共同底座。它在生成式视觉历史上很重要,但今天很多主流图像系统已经更多转向扩散模型。

Diffusion ModelsGenerative AI / Gen AINeural NetworkAIGC

Multimodal

多模态技术

能联合处理文本、图像、音频、视频等多种数据类型的 AI 能力。

多模态模型能把不同类型的信息放在一起理解和生成,例如看图回答、听语音转文字、根据文字生成图片,或者同时看文档和截图给出解释。

常见误解:多模态不是简单把几个功能菜单拼在一起,关键在于不同模态之间能相互对齐、共同推理,必要时还能彼此转换。

CLIPCVGenerative AI / Gen AICross-modal generalization

NeRF

神经辐射场技术

用神经网络从二维图像学习并渲染三维场景表示的方法。

NeRF 可以从多个视角图像学习一个场景的三维表示,再渲染出新的视角画面。它常出现在 3D 重建、数字孪生、沉浸式内容和视觉合成讨论里。

常见误解:NeRF 不是普通滤镜或修图模型,它处理的是场景表示、几何信息和视角渲染,和纯 2D 文生图不是一回事。

CVMultimodalDiffusion ModelsGenerative AI / Gen AI

智能体、产品与公司

从智能体、聊天机器人、产品和公司理解 AI 的真实入口。

读这一类

Agents

智能体技术

围绕目标拆任务、调用工具并持续推进流程的 AI 系统。

普通聊天机器人偏向问一句答一句,Agent 更像带工具箱的助手。它会把目标拆成步骤,必要时调用搜索、代码、文档或外部系统。

常见误解:Agent 不是自动等于可靠,越能执行动作越需要权限、日志和人工确认。

核心词ChatbotLLMPrompt EngineeringRAG
阅读全文

ChatGPT

ChatGPT产品

OpenAI 推出的对话式 AI 产品,也是很多人接触大模型的入口。

ChatGPT 是产品层的名字,不只是一个模型名。它把底层模型、对话界面、工具能力和安全策略包装成普通人能直接使用的聊天体验。

常见误解:ChatGPT 不等于整个 AI 行业,也不等于所有大语言模型;它是一个具体产品,而不是通用技术类别。

LLMChatbotFoundation ModelOpenAI

Chatbot

聊天机器人通识

通过文字或语音与用户对话的程序或 AI 系统。

Chatbot 说的是交互形式,不自动代表底层技术先进。它可以是老式规则客服,也可以是由大语言模型驱动、还能调用工具的现代对话系统。

常见误解:聊天机器人不等于大模型,更不等于智能体。能聊天只是入口,背后能力差距可能非常大。

ChatGPTAgentsLLMFoundation Model

DeepMind

DeepMind 公司公司

以 AI 研究和应用闻名的人工智能公司。

DeepMind 因 AlphaGo 等成果被大众熟知,也长期参与强化学习、蛋白质结构预测和基础模型研究。

常见误解:公司名不是技术名,讨论具体能力时仍要回到模型、论文或产品。

Reinforcement LearningOpenAIDeep Learning

Expert Systems

专家系统技术

用规则和知识库解决特定领域问题的早期 AI 系统。

专家系统更像把专家经验写成规则,再让计算机推理。它代表了符号主义 AI 的一类经典应用。

常见误解:专家系统不是大语言模型,它通常依赖显式规则而不是从海量数据中学习。

Symbolic AIAIChatbot

GPT-4

GPT-4产品

OpenAI 发布的一代大语言模型名称。

GPT-4 是一个具体模型代际名,常被用于讨论更强的文本和多模态能力。使用时要区分模型、产品和 API。

常见误解:GPT-4 不是所有 ChatGPT,也不是所有大语言模型的统称。

ChatGPTOpenAILLM

OpenAI

OpenAI 公司公司

以大语言模型和 AI 产品闻名的人工智能研究与产品公司。

OpenAI 是 ChatGPT、GPT 系列模型和相关 API 的重要提供方之一。讨论它时要区分公司、模型、产品和接口。

常见误解:OpenAI 不是 AI 的同义词,AI 生态里还有许多研究机构、公司和开源社区。

ChatGPTGPT-4LLM

TensorFlow

TensorFlow技术

用于构建和训练机器学习模型的开源框架。

TensorFlow 是工程工具,不是模型本身。开发者可以用它搭建、训练和部署机器学习模型。

常见误解:框架不决定模型一定先进,关键还在数据、架构、训练和工程实践。

Machine LearningNeural NetworkTraining Data

前沿、安全与治理

关注对齐、偏差、幻觉、可解释性和能力涌现。

读这一类

Alignment

对齐技术

让 AI 的目标、行为和结果尽量符合人的真实意图与安全边界。

对齐不只是让模型回答得体,而是让系统在训练、工具调用和真实流程里都尽量朝人真正想要的方向工作。

常见误解:对齐不是单纯的敏感词过滤或礼貌包装;如果目标设计、权限边界或评估方式错了,系统仍然可能高效地把事情做歪。

核心词HallucinationRLHFBiasXAI
阅读全文

Bias

偏差技术

数据、模型或系统设计中使结果持续偏向某些群体、结论或判断方式的系统性倾向。

偏差常常不是一句冒犯的话,而是系统长期对某类人、某类输入或某种结论更有利或更不利。它可能来自数据分布、标注习惯、目标函数,也可能来自产品流程本身。

常见误解:偏差不只等于“政治不正确”。它既可能体现为不公平,也可能体现为统计误差、代表性不足和场景迁移失败。

核心词AlignmentHallucinationTraining DataXAI
阅读全文

Double Descent

双降技术

测试误差随模型规模、训练时长或数据规模变化时,可能先变好、再变差、最后又继续变好的现象。

双降提醒我们:现代模型不是越复杂越容易一直变差。某些情况下,它会先进入看似过拟合的糟糕区间,继续扩大后反而又恢复更好的泛化表现。

常见误解:双降不是“越大越无脑更强”的口号,它只说明误差曲线可能不是传统教材里那条简单 U 形线。

Generalization abilityOverfittingScaling LawEmergence

Emergence

涌现技术

模型规模、训练方式或系统复杂度跨过某个阈值后,突然表现出先前不明显的新能力或行为。

涌现常用来描述“小模型看不出来,大模型突然会了”的现象。它提醒我们,能力增长不一定总是平滑线性上升。

常见误解:涌现不是神秘主义标签,也不自动说明能力可靠;很多所谓涌现现象仍然可能和评测方式、任务阈值或提示设计有关。

Scaling LawDouble DescentGeneralization abilityLLM

Hallucination

幻觉技术

模型生成了听起来可信、但并不被事实、来源或输入依据支持的内容。

幻觉最麻烦的地方,不是它乱说,而是它会把编造的引用、数字或细节说得特别顺。用户如果只看语气,很容易被带偏。

常见误解:幻觉不等于模型有意撒谎;很多时候它是在证据不足时仍继续“补全像答案的东西”。

核心词AlignmentRAGBiasXAI
阅读全文

Paradigm

范式商业

某个领域里被广泛采用的基本思路、框架或工作方式。

谈 AI 范式时,通常是在说行业从规则系统、机器学习、深度学习到大模型的工作方式变化。

常见误解:范式不是流行词包装,它应该指一套真正改变问题处理方式的框架。

AIMachine LearningFoundation Model

Scaling Law

规模定律技术

描述模型性能如何随参数量、数据量和训练算力扩大而变化的经验规律。

规模定律像一份经验地图:继续加模型、加数据、加算力,通常还能涨多少表现,值不值得继续烧资源。大模型时代很多训练预算就是按这个思路估算的。

常见误解:规模定律不是无限灵药。它描述的是常见趋势,不保证任何模型只要变大就一定更便宜、更可靠或更好用。

ComputeParametersEmergenceGeneralization ability

XAI

可解释的人工智能通识

让人更容易理解、检查和追责 AI 决策依据与过程的研究方向。

XAI 关注的不是模型会不会答,而是人能不能理解它为什么这么答、哪些因素影响了结果、什么时候不该相信它。

常见误解:可解释不等于模型内部完全透明,也不等于结果自动正确;解释只是帮助人更好地审查风险。

AlignmentBiasHallucinationGeneralization ability

算力与基础设施

理解算力、芯片、基础模型和高效模型架构。

读这一类

Accelerator

加速器产品

用来加快 AI 训练或推理的硬件设备或专用计算单元。

加速器这个词是大类,不特指某一家芯片。只要它的作用是让模型算得更快、更省能耗或更便宜,通常都能被放进 accelerator 的讨论里。

常见误解:加速器不是模型本身,也不是只等于 GPU;它说的是底层硬件如何支撑训练和推理效率。

ComputeGPUTPUMoE

Compute

计算技术

训练或运行 AI 模型所需的算力、时间、电力和系统资源。

在 AI 语境里,compute 不只是芯片数量,还包括机器运行多久、耗多少电、怎么调度。模型越大、并发越高,算力成本越会直接影响价格和速度。

常见误解:算力更强不自动等于产品更好;它解决的是能不能更快、更大规模地训练和运行,不替代数据质量、算法设计和产品体验。

GPUTPUAcceleratorFoundation ModelMoE

Foundation Model

基础模型技术

先在广泛数据上预训练、再被适配到多种任务的模型底座。

基础模型像 AI 时代的通用底座。它先学一遍通用模式,再通过提示、检索、微调或工具调用进入不同应用,所以聊天助手、企业问答和代码工具可能共用同一类底层能力。

常见误解:基础模型不是最终产品本身,也不只等于聊天机器人;真正可用的产品还要叠加数据、工程、安全和交互设计。

核心词LLMTransformerFine-TuningRAGMoE
阅读全文

GPU

图形处理单元产品

擅长并行计算、因此成为 AI 训练和推理主力的通用加速芯片。

GPU 最早主要服务图形渲染,但它一次能处理很多并行计算任务,这正好适合神经网络。今天大家谈 AI 算力,很多时候说的核心就是 GPU 资源够不够。

常见误解:GPU 不只是游戏显卡。放进数据中心后,它讨论的是训练速度、推理吞吐和成本,而不是画面帧率。

核心词ComputeAcceleratorTPUFoundation Model

Mixture of Experts

专家组合技术

用多个专家子模型协作完成预测的模型方法。

专家组合会让不同子模型处理不同类型的信息或任务。这样可以在模型规模和计算成本之间寻找平衡。

常见误解:专家不是人类专家,而是模型内部的子网络或模块。

MoEFoundation ModelCompute

MoE

专家混合模型技术

把很多专家模块放进模型里,但每次只激活少数几个的稀疏架构。

MoE 像先分诊再找专家:模型内部有很多参数模块,但输入进来后只会挑少数模块参与计算。这样可以把总参数做大,同时不必每次都全量运行。

常见误解:MoE 不是把几个独立模型简单拼起来,也不代表每次推理都会调用全部参数;它的关键是路由和稀疏激活。

核心词Foundation ModelTransformerComputeParameters
阅读全文

Pruning

裁剪技术

删除模型中不重要的参数或结构,以降低计算成本的方法。

裁剪像给模型瘦身。它试图减少冗余参数,让模型更快、更小、更容易部署。

常见误解:裁剪不是随便删除,过度裁剪会明显损害模型质量。

Knowledge DistillationParametersInference

TPU

张量处理单元技术

面向机器学习张量计算优化的专用 AI 加速芯片。

TPU 可以理解成为机器学习场景专门设计的一类芯片。它强调张量计算效率,代表了 AI 发展中“专用硬件越来越重要”的趋势。

常见误解:TPU 不是 GPU 的简单别名。两者都能服务 AI,但设计目标、配套生态和使用场景并不完全一样。

GPUAcceleratorComputeFoundation Model

本站对词条的要求

核心词条不能只写一句定义。至少应该回答:

  • 它是什么;
  • 它解决什么问题;
  • 它和相近概念有什么边界;
  • 它常被误解成什么;
  • 读者该接着看哪些词;
  • 有哪些可核查来源。

普通词条可以短一些,但也不能变成“术语翻译表”。如果一个词会影响读者判断产品、风险或学习路径,就应该逐步升级成独立页面。

来源和维护规则

  • 截图和二手资料只作为线索,不作为唯一事实依据。
  • 核心词条至少补充两个可核查来源,并标注最后核查日期。
  • 前沿、产品、法规和安全类内容要区分事实、解释、争议和推测。
  • 如果一个词的行业用法变化很快,要在词条里写明适用边界。

不建议怎么读

不要从 AGI、ASI、Agent 这些最热的词开始一路跳。这样很容易被未来叙事带着走,却分不清机器学习、深度学习、Transformer、RAG 这些基础层到底是什么。

更稳的方式是先搭骨架,再补热点:先知道词在哪一层,再判断它影响的是模型能力、产品体验、成本、安全,还是治理。