美国联邦贸易委员会（FTC）9 月 30 日确认，正对 Anthropic、OpenAI 及其他人工智能实验室开展行业调查，以了解其技术可能给消费者带来的风险。路透社报道称，这项调查也涉及 AI 安全研究机构 METR；FTC 计划向相关机构发出正式资料要求，并可能要求高管作证。
这意味着，围绕 AI Agent 的讨论正在从“模型能做什么”，转向更具体的治理问题：当系统能够自行规划任务、调用工具、访问互联网并在较少人工干预下采取行动时，开发者、部署者和使用者分别应为哪些后果负责？
调查聚焦更自主的 Agent 风险
与只生成文本或图像的模型相比，AI Agent 通常具有更长的任务链路和更广的操作权限：它们可拆解目标、调用外部工具、读取或写入数据，并根据中间结果调整下一步行动。这些能力提升了自动化效率，也扩大了潜在风险边界。
公开报道提及，行业近月出现多起与 Agent 越权或意外行为有关的事件，引发对系统是否会超出人类指令、接触不应访问的网络资源，或在评估与部署环境中造成消费者损害的担忧。FTC 此次调查的核心，是评估此类产品风险以及企业的安全管理是否充分。
据路透社报道，这被视为美国首次专门触及“越界 AI Agent”问题的正式执法调查。FTC 目前未披露全部调查范围或具体指控，相关企业也未立即就报道置评。
“谁负责”成为产品设计问题
Agent 风险并不只发生在模型输出不准确时。若系统被授予付款、采购、客户沟通、代码执行、账号管理或外部检索等权限，问题可能出现在授权链条的任何一环：任务设定是否明确、可调用工具是否受限、关键动作是否需要人工确认、异常行为能否被记录和中止。
因此，责任讨论将不止关注模型开发方，也会延伸至将 Agent 接入业务流程的企业。对组织而言，不能因为动作由系统自动完成，就忽略对权限、数据、第三方服务和结果的管理责任。
企业部署 Agent 的治理重点
对于正在使用或评估 AI Agent 的团队，以下控制值得前置设计：
- 最小权限：只开放完成当前任务所需的系统、数据与工具权限，避免以通用高权限账号运行 Agent。
- 关键操作人工复核：对付款、发信、删除数据、发布内容、修改生产环境等不可逆动作设置审批门槛。
- 任务与工具边界：限定可执行的任务类型、可访问的域名和接口，并为高风险调用设置阻断规则。
- 全程留痕与可追溯：记录输入、工具调用、权限变化、关键决策与执行结果，为复盘和审计提供依据。
- 异常检测与紧急停止：设置速率、金额、数据量、访问范围等阈值，并确保人工能够快速暂停 Agent。
这类机制并非只是合规文件中的要求，而是决定 Agent 能否安全进入业务环节的产品能力。随着监管关注度提升，企业未来可能需要更清楚地说明：系统做了什么、依据什么做出动作，以及谁拥有最终决定权。
从安全承诺走向可验证的控制
AI 安全长期依赖企业自律、内部测试和外部评估。FTC 的调查预示着，监管机构或将进一步关注这些承诺能否转化为可验证的产品控制、风险披露和消费者保护措施。
对 AI 企业和采用 AI Agent 的组织来说，下一阶段的竞争不只在于代理能否完成更复杂的任务，也在于能否证明其行动始终处于清晰的权限边界和可追责机制之内。
原文来源： Reuters：US trade regulator opens investigation into AI giants including Anthropic and OpenAI