公共入口

AGI 控制

在自主智能获得执行能力之前,为什么 AGI 控制已经变得重要。

AGI 控制不只是看模型说了什么。当自主推理开始影响工具、机器、基础设施、金融、安全、能源系统或不可逆决定时,控制问题就会变得紧迫。

为什么重要

AI 失控最严重的地方,是智能从“建议”走向“行动”。

公众常说“AI 失控”,但核心危险并不只是模型给出奇怪回答。真正严重的危险开始于:自主系统可以发起、授权、优化或协调行动,并且这些行动产生现实后果的速度,超过人类判断能够审查的速度。

在高后果场景中,一个错误行动不只是文本错误。它可能变成一项决定、一笔交易、一次机器操作、一项安全设置变更、一次供应链中断、一次基础设施故障,或者一个难以撤回的承诺。

严重后果
01

基础设施行动可能连锁扩散

当自主决策连接能源、物流、工业系统或数字基础设施时,一个不安全行动一旦被大规模执行,可能引发连锁故障。

02

不可逆行动可能跑在审查前面

资金转移、权限变更、系统部署、法律承诺或物理操作一旦开始,可能很难甚至无法撤回。

03

授权和责任可能变得不清楚

当系统跨工具、跨组织行动时,如果执行前没有锚定授权和问责,责任会变得分散。

04

错误可能比机构反应更快

自主系统可以快速重复、放大或协调行动,一个局部错误可能在机构发现并回应之前扩散。

05

人类优先级不会自动继承

机器不会默认继承人类的道德、法律或文明优先级。这些优先级必须被结构性地放在执行之前。

06

能力不是许可

系统能够生成答案、计划或行动,并不意味着这个行动就应该被允许继续走向执行。

LERA 将 AGI 控制重新定义为执行控制:高后果自主行动继续之前,必须先有判断和治理。

LERA 作用在哪里

LERA 在“执行治理层”处理 AGI 失控风险。

LERA 不是假设模型内部可以被做成永远完美,再由此实现 AGI 控制。LERA 是用于治理执行的判断—治理架构,作用点在自主推理接近现实行动的地方。它的核心功能是治理执行。

它不声称可以消除所有模型错误、预测每一种意图,或保证系统绝对安全。它做的是把判断、授权、责任、规则有效性和执行许可放在高后果行动继续之前。

在高后果系统中,这意味着人类判断不是机器推理之后可有可无的偏好,而是被结构性嵌入为执行前提。机器生成行动越过执行边界之前,人类授权和责任必须保持主位。

不是模型输出

不能假设每个答案都安全。

LERA 不依赖每一次模型输出都完整、对齐或无害。

不只是政策文本

原则不能只在执行后出现。

LERA 不只是价值清单,也不是事后审查标准。

人类判断优先

机器能力不能取代人类授权。

在高后果系统中,LERA 将人类判断结构性地放在机器执行之前。

执行治理

行动提案成为被许可执行之前。

LERA 作用于执行边界,在行动继续前检查授权、责任和规则。

执行边界

控制必须从模型行为,移动到执行治理。

模型行为当然重要,但仅靠模型行为不够。一个模型在对话中看起来“对齐”,仍然可能生成一个在真实授权、时机、责任或安全条件下不应该执行的行动方案。

当 AI 系统能够触发现实后果时,治理不能只停留在模型内部。治理必须放在行动提案接近执行的地方。

推理 / Agent 层
LERA 判断—治理层
执行边界
执行层

联系 LERA学院

用于研究合作、机构讨论、媒体咨询或支持。

info@lera.institute