刚刚，深度学习三巨头之一、图灵奖得主Yoshua Bengio官宣再次创业——
成立非营利组织LawZero，要构建下一代AI系统，而且明确不做Agent。
目前LawZero已通过多家慈善捐赠方筹集到了3000万美元启动资金。
具体来说，LawZero要做“设计即安全（safe-by-design）”的AI系统，要“将安全性置于商业利益之上”。
所要做的AI系统非Agent形态，而可以监督Agent：
它以理解学习世界为核心目标，而非在世界中采取行动，通过透明化外部推理，对问题提供可验证的真实答案，“可用于加速科学发现、为Agent型AI系统提供监督，并深化大家对AI风险及其规避方法的理解”。
Bengio表示，当前AI系统已显现出自我保护和欺骗行为的迹象，随着其能力和自主性的提升，这种趋势只会加速，LawZero是他们针对这些挑战所给出的建设性回应。
经常有人问我，对AI的未来是乐观还是悲观？我的回答始终是：It doesn’t matter（无关紧要）。
唯一重要的是，我们每个人都能采取行动，推动AI向更好的方向发展。
开创「Scientist AI」
LawZero总部位于蒙特利尔，最初由非营利机构Mila-Quebec AI Institute启动孵化，Mila现已成为LawZero的运营合作伙伴。
LawZero所筹集的捐赠资金，也是在项目孵化阶段通过Mila-Quebec AI Institute进行的。
其首批支持者包括Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌CEO Eric Schmidt创立的研究机构Schmidt Sciences等。
其中Open Philanthropy还是OpenAI的早期投资方。
Bengio担任LawZero主席兼科学总监。
团队中已有超15名顶尖研究员。
他们的科学方向基于Yoshua Bengio所引领的全新研究方法——Scientist AI。
几个月前，Bengio曾发表过一篇长达58页的论文探讨Scientist AI。
Scientist AI核心功能基于观测解释世界，而非通过行动模仿或取悦人类。
该系统包含两大组件：世界模型、推理机。
世界模型能够通过观察数据生成因果理论，以此解释数据背后的规律，构建对物理与社会规律的结构化理解，其运作机制类似于科学家通过观察自然现象提出假说并构建理论体系。
推理机则是一个问答推理机制。二者均以明确的不确定性概念为基础，以降低因过度自信的预测引发风险的可能性。
Scientist AI输出仅限于对问题的概率性解释和基于理论的逻辑推断，而不具备自主行动的能力，由此来从根本上杜绝因目标追求和环境干预引发的风险。
Bengio团队表示，Scientist AI可在以下三个核心领域发挥作用：
作为对抗危险AI的安全护栏
针对表现出自我保护、目标偏离、欺骗等倾向的AI系统，Scientist AI可通过双重验证机制防范灾难性后果。
在高能力Agent型AI执行现实行动前，对其行为进行风险评估，若超过预设阈值则直接阻断。这一机制可有效遏制当前前沿AI因自主性增强而日益凸显的不可预测性风险。
作为加速科学发现的可信工具
不“以取悦人类为训练目标”，Scientist AI可生成诚实且可论证的解释性假设，尤其在生物学、材料科学、化学等领域，可规避传统AI因“目标对齐偏差”导致的研究风险，开启低风险加速探索的新范式。
作为安全开发强AI的底层基建
可作为值得信赖的研究与编程工具，通过其透明化推理框架，为强AI的开发建立可审计的安全边界，从源头阻断“欺骗性Agent”的风险传导，助力设计安全的人类级智能，乃至安全的超级人工智能（ASI）。
职业生涯剩余时间全部投入AI安全
Bengio最新创业引来不少网友关注，也引起了网友对其上次创业的讨论。
确实，Bengio并非第一次创业。
2016年10月，Bengio曾和Jean-FrancoisGagné等人联合成立Element AI，主要聚焦“人工智能战略咨询”、“专家匹配”和“AI-as-a-Service”（AIaaS）。
Element AI曾一度成为“全球最大独角兽”之一，仅仅成立9个月就筹集了1.02亿美元的风险投资，不到4年时间里，融资约2.6亿美元，微软、英特尔、麦肯锡、加拿大政府等大型机构均为其资方，估值高达12亿美元。
不过，令人唏嘘的是，2020年Element AI传来“仅以2.3亿美元被抛售”的消息。《环球邮报》认为，这家公司大肆招聘顶尖人才、大量进行宣传投资的行为，与它建立软件业务的初衷背道而驰。
连Bengio本人都否定了Element AI的价值。
如今新项目启动，Bengio其实预谋已久。
2023年初，ChatGPT刚刚问世几个月，Bengio“AGI发展缓慢而漫长，需几十年的时间才能实现”的观点开始转变。私人实验室在AGI及更先进技术方面已经取得的进展，让他感到担忧。
之后Bengio彻底重新调整了科学研究方向：
职业生涯剩余的时间全部投入到缓解这些风险上，努力探索一条能从设计上让AI变得安全的道路。
目前网友对LawZero持谨慎观望态度，毕竟OpenAI最初也是以非营利组织起家……
更有评论者直言：
LawZero项目成功必然会将人类的主动权转移给机器人，而这是应竭力避免的趋势，而非加速推动。
OpenAI的非营利承诺早就变了味儿。现在，对这家图灵奖得主扛大旗的非营利机构，你怎么看？
参考链接
[1]https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
[2]http://arxiv.org/pdf/2502.15657
[3]https://news.ycombinator.com/item?id=44174643
本文来自微信公众号“量子位”，作者：西风，36氪经授权发布。