关键术语地图
用一张前沿、安全与治理术语地图分清 AGI、ASI、对齐、多模态、Agent、能力评测、安全治理与现实边界。
关键术语地图:前沿、安全与治理
前沿议题最容易被讲成两种极端:一种把所有新能力都当成“通往 AGI 的证据”,另一种把所有安全讨论都当成杞人忧天。两种都偷懒。真正有用的读法,是把能力边界、风险类型、治理手段和证据强度分开看。
这页配合 前沿、安全与治理 的章节使用。先读 这页先抓住四条线 建立地图,再用这里的术语判断一条新闻、一篇论文或一个产品发布到底在谈能力、风险,还是营销包装。
先把核心词摆正
| 术语 | 先记住的意思 | 主要回答的问题 | 常见误区 |
|---|---|---|---|
| AGI | 通常指能在广泛任务上达到或超过人类水平的通用智能系统,但定义并不统一。 | 讨论的是通用能力,还是某几个 benchmark 的突破? | 把“会很多任务”直接等同于“已经接近 AGI”。 |
| ASI | 假想中的超级智能,能力显著超过人类整体水平。 | 这是现实工程问题,还是长期风险设想? | 把 ASI 当成当前产品功能;这会把短期问题和长期推演搅成一锅粥。 |
| Alignment | 让 AI 的行为尽量符合人类意图、价值和安全边界的研究与工程问题。 | 系统是不是按我们真正想要的方式行动? | 对齐不是“模型变礼貌”;它关乎目标、权限、反馈和失败后果。 |
| Bias | 数据、模型或部署流程造成的系统性偏差。 | 谁会被错误影响,影响是否可检测、可纠正? | 只怪训练数据;产品规则、评测样本和使用场景同样会放大偏差。 |
| Hallucination | 模型生成看似可信但缺乏依据或事实错误的内容。 | 输出能不能被验证?出错后谁负责? | 以为换更大模型就会消失;严肃场景仍需要来源、校验和人工复核。 |
| 多模态(multimodal) | 系统能处理文字、图像、音频、视频等多种信息形态。 | AI 是否真的理解跨模态任务,还是只是在拼接入口? | 能看图不等于能可靠判断真实世界;详见 多模态生成。 |
| Agent | 能围绕目标规划、调用工具、观察结果并继续执行的系统。 | AI 会不会把错误从“答错”升级成“做错动作”? | Agent 演示顺滑不代表可托管业务;权限、日志和回退更关键。 |
| 能力评测 | 用任务集、基准测试、红队、真实场景试用等方法测量模型能力和风险。 | 新模型到底强在哪里,弱在哪里? | 只看排行榜;benchmark 可能被刷题、污染或与真实任务脱节。 |
| 安全与治理 | 用标准、流程、审计、透明度、责任分配和风险管理降低 AI 伤害。 | 谁能部署、如何监控、出事怎么办? | 治理不是“阻碍创新”;没有治理,产品风险会转嫁给用户和社会。 |
按四类问题阅读前沿新闻
1. 能力问题:它到底能做什么?
看到“接近 AGI”“具备推理”“超过人类专家”这类说法时,先问三件事:任务范围有多宽?评测是否公开可复现?失败样本有没有展示?如果只展示最强样例,不能说明系统在普通用户手里也稳定。
AGI 和 ASI 是重要概念,但它们不该吞掉所有讨论。今天更实用的问题往往是:模型能否可靠读图、写代码、查资料、调用工具、处理异常,还是只在精心设计的演示里好看。
2. 风险问题:错了会伤害谁?
前沿风险不只包括科幻式失控,也包括非常现实的偏差、幻觉、隐私泄露、版权争议、自动化误操作和责任不清。普通读者判断风险时,不必先懂所有论文,先看影响链条:谁依赖输出?谁能发现错误?谁承担成本?
这也是为什么 Bias、Hallucination 和 Alignment 要放在同一张图里。它们分别对应不公平、错误事实和目标不一致,解决方法不同,不能用一句“模型更强了”糊过去。
3. 系统问题:模型之外还有什么?
很多事故不是单个模型“突然邪恶”,而是系统设计太草率:把未验证输出直接接进业务,把 Agent 给了过大的工具权限,把没有来源的回答发给用户,把高风险决策交给黑箱流程。
因此评估 AI 产品时,要把模型能力和系统控制分开:是否有检索来源?是否有限权工具?关键动作是否人工确认?是否记录日志?是否能回滚?这些问题比发布会上的拟人化措辞重要得多。
4. 治理问题:谁来设边界?
治理不是只靠政府文件,也不是只靠公司自律。现实里需要多层机制:开发者做风险评估,组织设置使用政策,平台提供透明度和申诉通道,监管者明确高风险场景要求,用户保留知情和拒绝的权利。
对普通读者来说,最实用的标准是:凡是影响教育、招聘、金融、医疗、公共服务和个人权利的 AI 系统,都不应该只用“准确率很高”来证明自己可以上线。它还需要说明数据来源、误差范围、复核机制和责任归属。
一张阅读路径
- 第一次读前沿议题:先读 这页先抓住四条线,把对齐、可靠性、能力变化和范式讨论分开。
- 想知道为什么不只是技术圈话题:读 为什么普通人也要关心。
- 想补基础卡片:从 Alignment、Bias、Hallucination、AGI、ASI 开始。
- 想判断多模态发布:接着读 多模态生成 和 质量判断。
- 想判断 Agent 风险:接着读 智能体、产品与公司 和 关键术语地图。
前沿、安全与治理共 8 个词
关注对齐、偏差、幻觉、可解释性和能力涌现。
Alignment
对齐技术让 AI 的目标、行为和结果尽量符合人的真实意图与安全边界。
Bias
偏差技术数据、模型或系统设计中使结果持续偏向某些群体、结论或判断方式的系统性倾向。
Double Descent
双降技术测试误差随模型规模、训练时长或数据规模变化时,可能先变好、再变差、最后又继续变好的现象。
Emergence
涌现技术模型规模、训练方式或系统复杂度跨过某个阈值后,突然表现出先前不明显的新能力或行为。
Hallucination
幻觉技术模型生成了听起来可信、但并不被事实、来源或输入依据支持的内容。
Paradigm
范式商业某个领域里被广泛采用的基本思路、框架或工作方式。
Scaling Law
规模定律技术描述模型性能如何随参数量、数据量和训练算力扩大而变化的经验规律。
XAI
可解释的人工智能通识让人更容易理解、检查和追责 AI 决策依据与过程的研究方向。