权限与安全

AI 该有多大的自由

给 AI 全部权限?它可能搞砸一切。每步都审批?用户会疯掉。权限设计是一条光谱:从完全自主到每步审批,中间还有三种选择。

五种权限模式光谱
← AI 自由度高 人类控制度高 →
怎么选?
权限模式的选择取决于 三个维度
  • 操作的可逆性 — 发消息不可逆,读文件可逆
  • 出错的代价 — 删除数据代价高,搜索信息代价低
  • 用户的信任度 — 新用户谨慎,老用户信任
同一个产品里,不同功能可以用不同的权限模式。
没有最好的权限模式,只有最适合当前场景的权限模式。给 AI 多大的自由,本质上是在回答一个产品问题:这件事出错了,谁来负责?
权限与安全

弹窗太多用户烦,不弹又不安全

如果 Agent 每做一步都弹窗让你确认,你点 5 次「允许」之后就想卸载了。但如果什么都不问就自己执行,删错了文件谁来负责?答案是:风险分级。

体验对比:点击「开始演示」感受差异

无分级:每步都弹窗 体验差

    有分级:只弹高危 体验好

      0
      无分级 · 用户点击确认次数
      0
      有分级 · 用户点击确认次数
      风险分级的思路
      低风险 → 自动执行
      读取文件、搜索信息、查看日历、格式化文本…这些操作不改变任何状态,出错也没有代价。不需要弹窗。
      高风险 → 必须确认
      删除文件、发送消息、执行支付、修改权限…这些操作不可逆或影响大,必须弹窗确认。
      风险分级的核心问题:谁来判断一个操作是高危还是低危?
      • 产品经理预定义 — 在设计阶段把每个工具的风险等级定好(最常见)
      • AI 自己判断 — 让模型根据上下文判断「这件事需不需要问人」(更灵活但不一定准)
      • 用户自定义 — 让用户自己设置哪些操作需要确认(最灵活但增加配置成本)
      让 AI 自己判断「这件事需不需要问人」,这是风险分级的核心。好的权限设计不是要不要弹窗的二选一。它是对什么时候弹、弹什么的精细控制。
      权限与安全

      Agent 干了什么你知道吗

      Agent 在后台跑了 3 分钟:调了几个工具?花了多少 token?中间有没有出错?如果你回答不了这些问题,你的 Agent 就是个黑盒。

      模拟 Agent 仪表盘
      Agent 执行报告 · 任务:整理本周会议纪要并发送
      ● 等待执行
      总耗时
      循环次数
      工具调用
      总 Token
      ⏱ 执行时间线
      工具调用统计
      Token 消耗分布
      为什么需要可观测性
      对开发者
      • 定位 Agent 在哪一步出了问题
      • 发现无效循环和浪费的 token
      • 优化工具调用链路
      对产品经理
      • 理解用户真实使用路径
      • 量化每个功能的成本
      • 为下一版迭代提供数据
      不看日志你永远不知道 Agent 出了什么错。可观测性是产品化的基本功。一个没有仪表盘的 Agent,就像一辆没有仪表盘的车:你不知道油量、不知道转速、不知道什么时候会抛锚。
      1 / 4