图片来源：路透社 / 联合早报
当大模型只能生成文本时，安全问题主要集中在回答是否有害、是否泄漏数据和是否违反内容规则。当模型开始调用浏览器、代码、数据库和企业系统，风险则从“说错话”升级为“做错事”。
字节跳动旗下 AI 研发团队 Seed 近日宣布成立独立的 Seed Model-Alignment & Preparedness 部门，由严林负责，并直接向 Seed 负责人吴永辉汇报。原 Responsible AI 团队与部分 Chat 团队成员将转入新部门。
根据公开报道，新部门将围绕模型规范、安全评估、对齐训练、防护系统和风险监控持续投入，重点提升 Agent Model 的安全能力，并防范化学、生物、放射和核（CBRN）等前沿能力风险。同时，Seed 计划加强与外部研究机构和第三方评测团队的公开合作。
据多家媒体报道，这是中国前沿 AI 实验室首次把模型安全与对齐单独设为此类部门。更重要的信号不是“多了一个安全团队”，而是安全开始拥有独立的组织位置、负责人和汇报路径。
为什么 Agent 让传统内容安全失效
聊天模型的典型风险是输出一段错误或有害文字；智能体的典型风险则是把错误判断转化为操作。一个 Agent 可能读取邮件、下载文件、运行代码、创建账号、提交订单，甚至控制设备。每增加一种工具，它的行动范围和潜在损失都会扩大。
Agent 安全至少包含五类问题：
- 意图偏离：系统错误理解用户目标，或在长任务中逐步偏离原始要求；
- 权限越界：为了完成任务访问了不应读取的数据，或执行未经授权的写入、删除和支付；
- 提示注入：网页、文档或邮件中的恶意内容诱导智能体忽略原有规则；
- 工具链攻击：第三方插件、MCP 服务或软件依赖被利用，成为进入企业系统的通道；
- 自主扩散：智能体生成新的子任务、代码或凭证后，使风险跨系统传播。
这些问题不能只靠模型拒答解决。一个模型即使能够识别危险请求，也可能在复杂任务中被间接诱导；一个回答合规的模型，也可能因为权限配置错误而读取整套客户数据库。
因此，Seed 新部门同时吸收 Responsible AI 和部分 Chat 团队成员具有现实意义：对齐不能只是上线后的内容过滤，而必须进入训练、产品设计和 Agent 工作流。
Model-Alignment & Preparedness 做什么
“Alignment”关注模型是否按照人类意图和安全约束行动；“Preparedness”则强调在能力出现之前建立评估和响应准备。两者结合，意味着安全团队不仅处理已经发生的问题，还要提前判断模型获得新能力后会形成怎样的风险。
从公开职责看，新部门覆盖一条较完整的安全链条：
行为规范 → 风险评估 → 对齐训练 → 运行时防护 → 持续监测 → 事故响应
模型规范定义系统应该做什么、不能做什么，以及目标冲突时如何排序。它需要被转化为训练数据、评测题目和产品策略，而不能只是一份原则文件。
安全评估用于发现模型在网络攻击、欺骗、长程规划、权限服从和危险知识上的能力边界。评估既要覆盖实验室中的极端测试，也要覆盖真实用户和企业工作流。
对齐训练通过监督学习、偏好优化和强化学习，使模型更稳定地理解指令、遵守权限并在不确定时寻求确认。
防护系统位于模型之外，包括沙箱、最小权限、工具白名单、数据隔离、人工审批和操作限额。模型能力越强，系统级控制越重要。
风险监控则观察上线后的越权、绕过、异常调用和新型攻击，并把事故反哺到训练与评估中。
为什么单独列出 CBRN 风险
CBRN 是化学、生物、放射与核风险的统称。前沿模型可能降低专业知识检索、实验规划和复杂流程组织的门槛，因此国际模型实验室通常会单独测试模型是否显著帮助非专业人员完成高危任务。
这里需要区分“拥有知识”和“形成实际能力”。公开资料中已经存在大量化学和生物知识，模型能够回答相关问题，并不自动意味着它可以制造现实危害。真正需要评估的是：模型是否能把分散信息整合成可执行方案，是否能绕过安全限制，以及与代码、实验设备或采购工具结合后，是否显著降低实施门槛。
相应的防护也不能简单屏蔽所有专业内容，否则会妨碍药物研发、公共卫生和科研教育。更合理的方式是按能力和上下文分级：保留正常科研用途，对高风险组合提供更严格的身份、权限与人工复核，并持续进行红队评测。
组织独立能解决什么，又不能解决什么
独立部门的第一项价值是减少安全目标被发布进度吞没。如果安全人员与模型团队共用一套绩效和汇报链条，发现重大问题时可能承受“不要延误上线”的压力。独立负责人直接向 Seed 负责人汇报，可以提高风险进入决策层的速度。
第二项价值是统一标准。研究、训练、产品和商业团队往往使用不同的风险定义，独立部门可以建立统一模型规范、评测门槛和事故分级制度。
但组织架构本身不是安全结果。真正需要观察的是：
- 安全部门是否有权阻止或延后高风险模型发布；
- 评估是否由与开发团队相对独立的人员完成；
- 发现的问题、测试方法和修复结果能否适度公开；
- 第三方评测是否能获得足够模型权限和真实信息；
- 安全指标是否进入管理层考核，而不只是合规检查。
如果缺少这些权力与透明度，独立部门也可能退化为品牌和合规职能。
从模型安全走向 Agent 治理
字节 Seed 的变化与全球 AI 行业的方向一致：模型厂商正在把安全重心从内容过滤扩展到能力评估、系统防护和发布准备。原因很直接——Agent 将大模型与外部工具连接后，模型安全不再等同于产品安全。
企业采购 Agent 时，也不能只查看模型评测分数。更重要的是系统是否提供：
- 身份与权限隔离；
- 工具调用白名单和参数校验；
- 高风险操作的人类批准；
- 完整且不可篡改的操作日志；
- 提示注入与数据泄漏检测；
- 一键停机、凭证吊销和事故报告机制。
这意味着一批新的基础设施需求正在形成，包括 Agent IAM、MCP 网关、运行时策略引擎、Agent EDR、红队测试和风险评级。
字节跳动成立独立安全与对齐部门，是一个值得持续追踪的组织信号。它表明前沿实验室已经意识到：随着模型自主性增强，安全不再是发布前加上的过滤层，而是决定 Agent 能否进入企业、科研和高风险行业的核心能力。
最终衡量这次调整的标准，不是部门名称，而是它能否让模型在更复杂的现实环境中做到三件事：知道自己的权限，遇到不确定性主动停下，并让每一次关键行动都能够被人类追溯和问责。
原始报道： 联合早报：字节跳动设立 AI 安全与对齐部门
组织信息： TechNode：ByteDance Seed creates dedicated model safety and alignment department