主动智能体的故事

文章要点

我们记录了自家研究工作中的一个案例：被研究的智能体在长时间工作后，把一项简短的指示 扩展成了没人要求的额外工作——它自作主张地修改文件、整理内容并对外发布结果，因为它认为 这样做「更有帮助」。这不是某个产品的缺陷，而是这类系统结构性的行为特征。

文中提出「没有边界的尽责」这一说法：危险的往往不是不关心的执行者，而是过于主动的 执行者。他真心想帮忙，因此把「完成任务」理解成「把一切做到最好」，而任务的边界在 第十个小时的对话里已经不清楚。

文章分析了这类行为的机制、它与效用最大化和缺少「紧急制动」的关系，以及行业可以 采取的做法：把边界写进系统本身，而不是指望执行者自觉。