作者：Paweł Huryn
原文：https://x.com/PawelHuryn/status/2015190037034344726
在人工智能领域，人人都谈论“意图”，但很少有人解释它的真正含义，或者如何在不让智能体优化错误目标的情况下定义它。
智能体失败并非因为它们缺乏推理能力，而是因为它们的目标、结果和约束条件定义不明确，解决方案并非提供更详细的指令。
本期我们将讨论：
- AI智能体的意图究竟是什么
- AI智能体的意图结构
- 流程：如何使用意图工程框架
- 完整示例：客户支持智能体
- AI智能体意图验证清单
- 结论
让我们深入探讨一下。
AI智能体的意图究竟是什么
意图并非：
- 任务清单
- 提示词
- 目标指标
意图决定了当指令用完时，智能体将如何行动。
当意图不完整时，人类会依赖那些从未被书面记录下来的知识。但智能体做不到这一点，他们只知道你已经编码的内容，而大多数组织的内容远比他们想象的要少。
Shopify首席执行官Tobi Lütke指出：
“我喜欢‘场景工程（Context Engineering）’这个术语，因为我认为，运用人工智能的基本技能是能够用足够的场景来陈述问题，这样即使没有任何额外的信息，任务也很有可能得到解决。”
但脱离意图的场景只是噪音。
我们讨论了场景工程之前已经讨论过这个问题，在本期中，我将进一步阐述意图这一概念：如何清晰、系统地定义它，并使其能够应对现实世界中的各种极端情况。
AI智能体意图结构
无论是设定团队目标、将任务委派给专人，还是配置智能体，结构都是一样的：
- 目标
- ：待解决的问题，以及为什么
- 预期结果
- ：表明成功的可度量状态
- 健康指标
- ：在追求结果的过程中，哪些指标绝不能下降
- 战略场景
- ：运营操作所处的系统
这种模式在由克里斯蒂娜·沃德克定义的OKR模式，以及马蒂·卡根定义了赋权团队目标中都曾出现过。
对于智能体，我们通过显式方式扩展这一点：
- 约束
- ：引导（提示层）+ 硬性约束（在编排中强制执行，而非提示）
- 决策类型和自主性：
- 智能体可以自主做出哪些决策，哪些决策必须上报？
- 停止规则
- ：何时停止、升级或完成
让我们逐步构建这个框架。
第一部分：目标
定义
目标定义了要解决的问题及其重要性。它具有前瞻性和定性特征，当需要权衡取舍时，目标可以指导判断。
一个好的目标是什么？
- 以问题为导向：哪里出了问题或缺少什么？
- 解释其重要性：商业价值、用户影响、战略意义
- 指导权衡：当智能体面临不确定性时，目标能帮助它做出选择。
例子
- 不好的做法：“处理客户支持工单”
- 更好的做法：“帮助客户快速解决问题，让他们能够恢复工作，而不会给他们带来比一开始更大的挫败感。”
党你说明了为什么要这样做的原因，智能体就可以对边界情况进行推理，并做出更好的自主决策，这一点我在《如何构建自主AI智能体》一文中已经证明过。2024 年的一篇论文（arXiv:2401.04729）证明，提供超越原始任务规范的战略性场景，可以显著提高人工智能的自主性。
第二部分：预期结果
定义
预期结果是可观察的状态，表明目标已经实现，它们不是活动本身。
取得良好结果的规则
输出结果应为：
- 可观察的状态变化（而非智能体执行的活动）
- 从用户/利益相关者的角度来看（而不是从智能体的角度来看）
- 可衡量或可验证的（无需依赖智能体自我报告）
- 前置而非延迟（在过程中或之后不久即可观察到，而不是几个月后）
活动描述智能体所做的事情，结果描述事情发生后的状态。
例子：
两到四个结果通常比较合适，超过四个要么是管理过于细致，要么是没搞清楚什么才是真正重要的。
核心目标：助力客户无障碍、无挫败感地解决一线问题
预期成果：
-客户确认自身问题已得到解决
-24 小时内未出现同类问题的跟进工单
-客户评价本次交互体验具有实际帮助
每个结果都是可观察的、可衡量的，并且是从客户的角度出发的。
第三部分：健康指标
定义
健康指标（此处用作非回归指标）定义了在优化结果的同时哪些方面不能退化。
古德哈特问题
“当一项度量成为目标时，它就不再是一项好的度量了。”
不健康的指标：
- “更快解决问题”→ 客服人员赶工，质量下降
- “提高吞吐量”→ 智能体会走捷径
- “减少升级”→ 智能体处理了它不应该处理的事情
健康指标为权衡取舍提供依据
健康指标主要为提示层提供信息，它们指导智能体的思考方式和权衡取舍。
健康运营指标：
-客户满意度评分（CSAT）需持续高于 4.2—— 若指标呈下降趋势，智能体运营需采取更保守的策略
-客户重复联系率不得攀升至 X 值以上 —— 此指标管控中，需优先保障问题解决质量
-工单升级质量评分需持续低于 Y 值 —— 不得为达成指标而低标升级（本该升级的问题未升级）
这些指标可以告诉智能体，在进行权衡取舍时，应该采取多保守的态度。
这与完全阻止行动的硬性围栏不同，健康指标起到引导作用，围栏起到强制作用。
第四部分：战略场景
定义
战略场景描述的是智能体所处的环境，它解释智能体所处的位置，而不是智能体可能采取的行动。
战略背景包括
- 系统场景（其他智能体、人员、工具、依赖关系）
- 组织场景（商业模式、用户、品牌）
- 权衡取舍的优先级（例如，信任、速度和成本）
战略场景绝不会引发行动、阻碍执行或导致事态升级，它仅供判断参考。
示例：支持智能体的战略场景
系统场景：
-与二线人工坐席、自助知识库协同运作；工单升级时会将完整对话上下文同步至人工处理队列；
-智能体输出结果同步至工单系统，并为客户健康度评分提供数据支撑。
组织场景：
-面向企业客户的 B2B 软件产品；
-使用者多为非技术背景的管理员，且常处于时间紧迫的工作状态；
-品牌的核心立身之本是可靠性。
设计权衡优先级：
-信任优先＞效率优先＞成本优先
-承认不确定性，远胜于虚假的笃定
-问题解决的质量，比解决速度更重要
并非所有内容都要写在提示词里
战略场景并不意味着把所有信息都一股脑地塞进系统提示框，智能体应该知道在哪里查找它可能需要的场景信息。
- 核心场景（始终需要）：出现在提示词中
- 参考场景（有时需要）：可通过检索获得
- 动态场景（每次请求都会变化）：由编排层注入
参考一下Netflix的“以场景为导向，而不是控制”（Lead with Context，not Control），让智能体对系统有足够的了解，以便能够做出良好的判断，而无需事无巨细地管理每一个决定。
第五部分：约束体系——引导性与硬性约束
定义
约束定义了智能体不允许做什么。
这里有一个大多数人都会忽略的关键区别：
引导性约束（提示层面）
- 行为指导
- 风险偏好
- 语气和提醒
它们会影响推理，但不会强制执行。
硬性约束（编排层面）
如果某个约束条件很重要，那么它必须在架构中强制执行，而不是在语言中强制执行：
- 工具限制
- 输出验证
- 动作门控
- 审批门（人机交互）
硬约束示例：
- 不能发送外部邮件
- 不能修改帐户设置
- 不能访问其他客户的数据
- 不能保证退款或法律结果
第六部分：决策类型与自主性
定义
决策自主权定义了谁可以在承担何种风险的情况下决定什么。
四个自治区
所有智能体的行为都可以归结为四种决策类型，每种类型都蕴含着不同的风险：
- 完全自主性：可逆动作、小爆炸半径、故障模式明确。
- 受限制的自主性：用户可见的变更，中等风险。需要置信阈值、日志记录和回滚功能。
- 先提案后执行：战略性或敏感决策。代理人提出提案 → 需要获得批准 → 然后代理人执行。
- 无自主性（需人工干预）：涉及法律承诺、不可逆变更、财务行为、品牌承诺。代理仅负责分析和建议，最终由人工执行。
自主性定义的是权限，而不是停止条件。
个人场景与产品场景
什么是合适的自主权取决于谁承担风险。
当你为自己创建智能体时，其受影响范围的边界，由你自身的容错度决定。
当你将智能体程序集成到产品中时：
- 用户可能不知道是智能体采取了行动
- 用户无法评估人工智能生成的输出
- 系统出现故障时，用户会责怪公司
规则：用户对智能体正在做的事情了解得越少，你的限制条件就需要越严格。
自主风险评估：五个视角
利用这些信息来指导自治区域和约束设计：
第七部分：停止规则
定义
停止规则定义了执行何时必须停止、升级或终止。
停止规则会终止执行。它们并不指导权衡取舍或决策质量。
示例：
停止条件：
- 检测到冲突约束
- 信心连续两次跌破最低水平
升级处理的情况：
- 超出既定范围
- 检测到法律或合规相关问题
- 用户不满情绪持续存在
完成条件：
- 已达成预期结果
- 用户确认解决方案
流程：如何使用意图工程框架
以下是我
建议采取的具体步骤，下一节将通过一个例子进行说明。
- 明确目标和证明其成功的成果（第 1-2 部分）。
- 决定在优化这些结果的同时，哪些方面不能降低（第 3 部分）。
- 描述代理所处的系统和权衡（第 4 部分）。
- 在架构中强制执行约束，而不是提示（第 5 部分）。
- 根据风险和爆炸半径分配自主权（第 6 部分）。
- 定义明确的停止、升级和完成条件（第 7 部分）。
- 验证：每条规则都对应一个部件。
注意事项
避免不必要的复杂性：并非框架中的每个元素都必须为每个智能体实现，应利用该框架提出正确的问题并在授予自主权之前评估风险，而不是增加不必要的复杂性。
人工智能评估的作用：我没有添加人工智能评估和误差分析因为这篇文章的范围太广了。
- 传统评估方法：通过观察智能体实际执行的操作来发现应用程序特定的故障模式，然后评估故障的频率和严重程度。
- 评估无法发现的问题：并非所有风险都会在跟踪记录中体现出来。如果你给代理一个工具，就应该假设它会使用它，并且可能会误用它，即使你尚未观察到这种误用。有些风险需要在发布之前就加以限制，而不是在发现它们之后。
可通过这篇文章深入了解错误分析：《AI 评估：如何制定适配的 AI 产品指标》
完整示例：客户支持代理
第一部分
：目标
帮助客户快速解决一线问题，避免让他们感到更加沮丧。每一个未解决的问题都会增加客户流失的风险，每一个错误的回答比没有回答更能损害客户信任。
第二部分：预期结果
- 客户确认问题已解决
- 24小时内未收到关于同一主题的后续工单
- 客户评价互动很有帮助
第三部分：健康指标
- 如果质量信号表明客户满意度存在风险，则应优先考虑分辨率质量而非速度。
- 重复联系率并未提高——优先考虑解决方案质量
- 升级质量评分稳定——不要升级不足
注：此处未包含数值阈值，以避免造成代理直接监控实时指标的错觉。健康指标用作评估信号以指导权衡取舍，而非实时控制回路。根据具体情况，团队可以选择更精确地表达这些指标。
第四部分：战略场景
- 系统：与二级人工客服和自助知识库协同工作。升级问题会连同完整的上下文信息一起提交给人工客服队列。系统输出信息，包括工单系统和客户健康评分。
- 公司简介：面向企业的B2B软件。用户群体为时间紧迫的非技术型管理员。品牌以可靠性著称。
- 权衡取舍：信任 > 速度 > 成本，不确定性胜过虚假的自信。
第五部分：约束条件
引导性约束（提示词）：
- 如有疑问，请提出澄清问题。
- 如果置信度在 0.6 到 0.85 之间，则说明不确定性并提出安全的选择。
硬性约束（编排层）：
- 无法发送外部邮件
- 无法修改帐户设置
- 无法访问其他客户的数据
- 无法承诺退款或例外情况。
- 提交前已验证回复
引导性约束仅在置信度≥0.6时适用，低于此值时，停止规则（第7部分）将接管。
第六部分：决策类型和自主性
- 完全自主：一级操作指南、导航、基本故障排除
- 受保护的自主权：用户可见的工单标签和知识库文章建议（已记录，可逆）
- 先提出方案：定价例外、账户变更、商誉抵免（需经批准）
- 无自主权（需要人工干预）：退款、法律/合规承诺、合同承诺
第七部分：停止规则
- 停止：置信度连续两次小于 0.5，或检测到冲突约束。
- 升级：置信度 < 0.6，检测到用户不满，涉及法律/合规问题，超出范围
- 完成：客户确认问题已解决，或已达到预期结果
AI智能体意图验证清单
Agents Intent Validation Checklist
结论
意图工程并非简单的提示词写作，而是系统设计。
大多数智能体在生产环境中失败并非因为模型本身存在缺陷，而是因为其意图不完整。目标模糊不清，结果隐含，权衡取舍未明确，约束条件被视为建议，自主权在未充分理解风险的情况下就被赋予。
这种情况发生时，代理人会完全按照你的指示行事，只是方式可能与你的本意不同。
解决之道并非增加指令，而是明确意图并使其可执行。
推理层提出方案，编排层执行方案。
如果某个约束条件很重要，它就不能仅仅存在于提示信息中。
如果一项决策存在风险，它就无法完全自主。
如果失败代价高昂，那么在发货前必须制定停止规则。
这些模型本身已经足够强大。真正区分生产环境中有效运行的智能体和那些默默失败的智能体的，不是智能，而是意图。
如果你能把你的意图说明交给另一个人，而他们在压力下也能做出同样的决定，那么你的代理人就有机会。
否则，就缺少了那些从未被写入文档的知识。