合规与信任
合规章节不提供法律意见。这里讨论的是企业客户在安全、法务、采购和业务评审中真正会问的问题,以及产品侧应该准备什么证据。
AI 产品的合规评审通常不是从法规条文开始,而是从客户的五个不安开始:
| 主题 | 客户真正担心什么 | 产品方要证明什么 | 常见失败 |
|---|---|---|---|
| 数据会不会回流 | prompt、附件、工具结果、输出、反馈样本是否进入供应商训练、内部 eval、调试样本或人工质检 | 每类数据的去向、保留期、访问人群、训练/评估用途、删除链路 | 只说“默认不训练”,却没有解释文件、batch、cache、日志、支持工单和反馈样本 |
| 供应商边界是否清楚 | 上游模型、云厂商、搜索、浏览器、OCR、向量库、第三方 connector 是否都能接触客户数据 | sub-processor 清单、区域、用途、合同/DPA、可替换策略、功能级数据控制 | 官网只列模型品牌,实际功能还调用了额外服务 |
| Agent 会不会越权行动 | Agent 拿到工具权限后,是否能跨租户读取、发邮件、删数据、改权限、付款或写生产系统 | OAuth scope、工具 allowlist、动作分级、HITL、高风险 blocklist、管理员控制 | “需要用户确认”只出现在文案里,工具层没有强制策略检查 |
| 输出错了谁负责 | Agent 给出建议、生成草稿、调用工具或执行动作后,用户、客户企业、产品方和上游供应商如何分责 | 责任边界、确认记录、可逆/不可逆动作策略、合同条款、错误上报和补救流程 | 把所有错误都写成“模型可能出错”,却没有区分建议、草稿和真实执行 |
| 事故后能否说清楚 | 出错后能否重放当时的上下文、模型版本、工具调用、参数、确认人、策略判断和影响范围 | 审计日志、trace、版本记录、删除/导出流程、事故通知和 postmortem 模板 | 日志只够工程 debug,不够客户审计、法务追责和数据删除 |
一句“我们有 SOC2”只能回答安全管理成熟度。Agent 产品还必须回答更细的问题:数据有没有被复制到新位置,功能开关是否改变保留策略,工具权限是否被模型绕过,用户确认是否真的可追溯,事故发生后能否隔离影响并向客户解释。
企业客户会问什么
| 尽调问题 | 不能只回答 | 应准备的实质材料 |
|---|---|---|
| 我们的数据会被用于训练吗? | “不会” | 上游模型供应商条款链接、企业合同/DPA、账户级 data control 截图、产品自己的训练/评估数据策略 |
| prompt 和 output 会保留多久? | “按供应商默认” | 按功能列出的保留表:推理、文件、batch、代码执行、web search、prompt cache、日志、人工质检 |
| 哪些供应商会处理数据? | “OpenAI/Anthropic 等” | sub-processor 清单、区域、用途、数据类型、是否跨境、是否可替换 |
| 员工能否查看客户内容? | “严格控制” | RBAC、break-glass 流程、审批记录、访问日志样例、客户可请求的访问审计 |
| Agent 能不能代表用户行动? | “会有确认” | 工具 scope 表、高风险动作清单、HITL 策略、管理员配置截图、审计日志字段 |
| 出错后能否追溯? | “有日志” | task trace 示例:model call、tool call、参数、返回、确认人、版本、成本、错误分类 |
| 能否删除、导出、停用? | “支持删除” | 删除 API/流程、备份删除周期、导出格式、租户停用后的数据处理 |
| 如何处理 prompt injection? | “有安全策略” | 外部内容隔离、工具前策略检查、敏感动作二次确认、blocklist/allowlist、检测与复盘流程 |
这张表应该成为 trust packet 的目录,而不是只放在内部文档里。
先画一张数据流图
数据流要按“每一种数据类型”画,而不是只画系统组件:
| 数据类型 | 例子 | 可能去向 | 关键控制 |
|---|---|---|---|
| 用户输入 | prompt、聊天消息、任务目标 | 模型 API、任务日志、客服后台 | 租户隔离、日志脱敏、保留期 |
| 附件 | PDF、图片、表格、代码仓库片段 | 文件解析、向量库、模型 API、临时存储 | 文件级权限、临时 URL、删除流程 |
| 上下文 | 历史消息、记忆、检索片段、skills | prompt assembly、cache、模型 API | 最小化、可解释来源、cache 边界 |
| 工具结果 | CRM 记录、邮件正文、网页内容、数据库查询 | 模型上下文、审计日志、调试样本 | 敏感字段过滤、外部内容不可信标记 |
| 模型输出 | 回复、草稿、计划、tool arguments | 用户界面、工具调用、日志 | 输出标记、HITL、版本记录 |
| 反馈样本 | thumbs up/down、人工修正、失败轨迹 | eval 数据集、产品分析、训练候选集 | opt-in、脱敏、数据集隔离、可删除 |
如果这张表回答不清,就不要急着谈认证。认证是证明管理体系,数据流才是客户判断风险的入口。
供应商与功能矩阵
企业客户最关心的不是“你用了哪个模型”,而是“启用某个功能后,数据控制是否变化”。至少要维护这样的表:
| 功能 | 典型供应商能力 | 客户风险 | 产品方承诺 |
|---|---|---|---|
| 普通模型调用 | 主流商业 API 通常可承诺 API 输入输出不用于训练;可能仍有短期滥用监控日志 | prompt/output 暴露给上游 | 提供当前条款链接、账户设置、保留期和删除策略 |
| 文件上传 / 文件 API | 文件可能需要独立存储和处理,不一定等同于普通推理请求 | 文件保留、解析副本、向量化副本 | 标注文件保留期、删除链路、向量索引删除 |
| Batch | 批任务通常有异步队列和结果文件 | 结果保存时间、失败重试、批量敏感数据 | 标注结果保留和自动清理时间 |
| Code execution | 代码、输入文件和执行结果可能进入沙箱 | 代码/数据泄露、运行产物保留 | 沙箱隔离、网络策略、产物清理 |
| Web search / 浏览器工具 | 查询和网页内容可能经过额外服务 | 搜索查询、网页注入、cookie/会话风险 | 域名授权、cookie 隔离、网页内容不可信处理 |
| Prompt caching | 静态前缀可能被供应商缓存 | cache key、保留期、跨租户隔离 | 只缓存非敏感静态前缀,说明 TTL 和禁用策略 |
| 人工质检 / 支持 | 员工可能查看任务内容 | 内部访问扩大 | 审批、最小权限、访问日志、客户可审计 |
这张表要随着供应商条款和产品功能变化更新。不要把“API 默认不训练”扩展成“所有 AI 功能都零保留”。
Agent 权限控制
Agent 合规不只是隐私。越权动作比模型幻觉更容易造成真实损失。
最低控制面:
| 控制 | 具体做法 |
|---|---|
| 最小权限 | 每个工具只申请完成任务需要的 OAuth scope,不用全量读写权限 |
| 租户隔离 | task、memory、tool credentials、logs 都带 tenant 边界 |
| 工具 allowlist | 客户管理员决定哪些工具可用,哪些系统永远不可触达 |
| 高风险 blocklist | 银行、薪酬、合同签署、权限管理、生产数据库写入等默认禁止自主执行 |
| 动作分级 | 只读、草稿、可撤销写入、不可逆写入、对外发送分开处理 |
| HITL | 对外发送、付款、删除、权限变更、批量操作必须确认 |
| 策略检查 | tool call 前检查权限,tool result 后检查是否包含敏感外泄 |
| Kill switch | 客户或平台可一键暂停某个 agent、工具或租户任务 |
客户需要看到的不只是“我们有权限控制”,而是具体到每类工具的 scope、默认策略、管理员能否覆盖、审计字段是什么。
审计日志应该长什么样
Agent 日志至少要支持回答“当时到底发生了什么”:
{
"task_id": "task_123",
"tenant_id": "acme",
"user_id": "u_456",
"model": "provider/model/version",
"prompt_version": "2026-08-10.3",
"tool_call": {
"name": "gmail.sendDraft",
"arguments_hash": "sha256:...",
"target": "customer@example.com",
"risk_tier": "high"
},
"human_confirmation": {
"required": true,
"confirmed_by": "u_456",
"confirmed_at": "2026-08-10T06:00:00Z"
},
"data_controls": {
"retention_policy": "enterprise-30d",
"training_use": "disabled",
"region": "us"
},
"result": "success"
}
真实系统里可以对参数和值做脱敏或 hash,但字段必须能支撑追责、客户解释、事故复盘和删除请求。
Trust Packet
面向企业客户,建议准备一份可以随尽调发送的包:
- 数据流图;
- sub-processor 清单;
- 按功能拆分的数据保留表;
- 上游模型供应商当前条款链接、DPA/BAA/企业合同附件;
- 账户级 data control 配置证明;
- 工具权限模型和 OAuth scope 表;
- 高风险动作清单和 HITL 策略;
- 审计日志字段说明和样例;
- 删除、导出、停用、备份清理流程;
- prompt injection 和外部内容处理策略;
- 事故响应 SLA、客户通知模板、postmortem 模板;
- 受监管客户的部署差异说明。
这才是“打消顾虑”的材料:客户安全团队能审、法务能引用、采购能归档、业务负责人能理解。
和其他章节的衔接
- 数据使用和训练边界:data-feedback
- 输出责任与 HITL:model-output-liability
- 审计轨迹实现:operations/overview
- 事故响应:playbooks/incident-response
参考资料
这页有帮助吗? 谢谢反馈。