关键术语地图

用一张前沿、安全与治理术语地图分清 AGI、ASI、对齐、多模态、Agent、能力评测、安全治理与现实边界。

关键术语地图:前沿、安全与治理

前沿议题最容易被讲成两种极端:一种把所有新能力都当成“通往 AGI 的证据”,另一种把所有安全讨论都当成杞人忧天。两种都偷懒。真正有用的读法,是把能力边界、风险类型、治理手段和证据强度分开看。

这页配合 前沿、安全与治理 的章节使用。先读 这页先抓住四条线 建立地图,再用这里的术语判断一条新闻、一篇论文或一个产品发布到底在谈能力、风险,还是营销包装。

先把核心词摆正

术语先记住的意思主要回答的问题常见误区
AGI通常指能在广泛任务上达到或超过人类水平的通用智能系统,但定义并不统一。讨论的是通用能力,还是某几个 benchmark 的突破?把“会很多任务”直接等同于“已经接近 AGI”。
ASI假想中的超级智能,能力显著超过人类整体水平。这是现实工程问题,还是长期风险设想?把 ASI 当成当前产品功能;这会把短期问题和长期推演搅成一锅粥。
Alignment让 AI 的行为尽量符合人类意图、价值和安全边界的研究与工程问题。系统是不是按我们真正想要的方式行动?对齐不是“模型变礼貌”;它关乎目标、权限、反馈和失败后果。
Bias数据、模型或部署流程造成的系统性偏差。谁会被错误影响,影响是否可检测、可纠正?只怪训练数据;产品规则、评测样本和使用场景同样会放大偏差。
Hallucination模型生成看似可信但缺乏依据或事实错误的内容。输出能不能被验证?出错后谁负责?以为换更大模型就会消失;严肃场景仍需要来源、校验和人工复核。
多模态(multimodal)系统能处理文字、图像、音频、视频等多种信息形态。AI 是否真的理解跨模态任务,还是只是在拼接入口?能看图不等于能可靠判断真实世界;详见 多模态生成
Agent能围绕目标规划、调用工具、观察结果并继续执行的系统。AI 会不会把错误从“答错”升级成“做错动作”?Agent 演示顺滑不代表可托管业务;权限、日志和回退更关键。
能力评测用任务集、基准测试、红队、真实场景试用等方法测量模型能力和风险。新模型到底强在哪里,弱在哪里?只看排行榜;benchmark 可能被刷题、污染或与真实任务脱节。
安全与治理用标准、流程、审计、透明度、责任分配和风险管理降低 AI 伤害。谁能部署、如何监控、出事怎么办?治理不是“阻碍创新”;没有治理,产品风险会转嫁给用户和社会。

按四类问题阅读前沿新闻

1. 能力问题:它到底能做什么?

看到“接近 AGI”“具备推理”“超过人类专家”这类说法时,先问三件事:任务范围有多宽?评测是否公开可复现?失败样本有没有展示?如果只展示最强样例,不能说明系统在普通用户手里也稳定。

AGIASI 是重要概念,但它们不该吞掉所有讨论。今天更实用的问题往往是:模型能否可靠读图、写代码、查资料、调用工具、处理异常,还是只在精心设计的演示里好看。

2. 风险问题:错了会伤害谁?

前沿风险不只包括科幻式失控,也包括非常现实的偏差、幻觉、隐私泄露、版权争议、自动化误操作和责任不清。普通读者判断风险时,不必先懂所有论文,先看影响链条:谁依赖输出?谁能发现错误?谁承担成本?

这也是为什么 BiasHallucinationAlignment 要放在同一张图里。它们分别对应不公平、错误事实和目标不一致,解决方法不同,不能用一句“模型更强了”糊过去。

3. 系统问题:模型之外还有什么?

很多事故不是单个模型“突然邪恶”,而是系统设计太草率:把未验证输出直接接进业务,把 Agent 给了过大的工具权限,把没有来源的回答发给用户,把高风险决策交给黑箱流程。

因此评估 AI 产品时,要把模型能力和系统控制分开:是否有检索来源?是否有限权工具?关键动作是否人工确认?是否记录日志?是否能回滚?这些问题比发布会上的拟人化措辞重要得多。

4. 治理问题:谁来设边界?

治理不是只靠政府文件,也不是只靠公司自律。现实里需要多层机制:开发者做风险评估,组织设置使用政策,平台提供透明度和申诉通道,监管者明确高风险场景要求,用户保留知情和拒绝的权利。

对普通读者来说,最实用的标准是:凡是影响教育、招聘、金融、医疗、公共服务和个人权利的 AI 系统,都不应该只用“准确率很高”来证明自己可以上线。它还需要说明数据来源、误差范围、复核机制和责任归属。

一张阅读路径

前沿、安全与治理8 个词

关注对齐、偏差、幻觉、可解释性和能力涌现。

Alignment

对齐技术

让 AI 的目标、行为和结果尽量符合人的真实意图与安全边界。

核心词HallucinationRLHFBiasXAI
阅读全文

Bias

偏差技术

数据、模型或系统设计中使结果持续偏向某些群体、结论或判断方式的系统性倾向。

核心词AlignmentHallucinationTraining DataXAI
阅读全文

Double Descent

双降技术

测试误差随模型规模、训练时长或数据规模变化时,可能先变好、再变差、最后又继续变好的现象。

Generalization abilityOverfittingScaling LawEmergence

Emergence

涌现技术

模型规模、训练方式或系统复杂度跨过某个阈值后,突然表现出先前不明显的新能力或行为。

Scaling LawDouble DescentGeneralization abilityLLM

Hallucination

幻觉技术

模型生成了听起来可信、但并不被事实、来源或输入依据支持的内容。

核心词AlignmentRAGBiasXAI
阅读全文

Paradigm

范式商业

某个领域里被广泛采用的基本思路、框架或工作方式。

AIMachine LearningFoundation Model

Scaling Law

规模定律技术

描述模型性能如何随参数量、数据量和训练算力扩大而变化的经验规律。

ComputeParametersEmergenceGeneralization ability

XAI

可解释的人工智能通识

让人更容易理解、检查和追责 AI 决策依据与过程的研究方向。

AlignmentBiasHallucinationGeneralization ability

参考入口