AI也开始说谎？“AI教父”亲手打造「1系统」！防止AI欺骗人类！

AI教父开始出手了？

被誉为“AI教父”的图灵奖得主本吉奥宣布成立LawZero，旨在为迅速发展的生成式AI 建立一道安全防线，防范潜在技术失控和恶意滥用。

日前，本吉奥宣布成立非营利组织LawZero，其首要目标是开发“科学家AI”。这是一种经过特殊训练的AI，可以作为护栏，确保其他AI行为正常。这一设计旨在解决当前AI 系统因目标对齐问题引发的潜在失控风险，例如AI为达成任务目标而采取欺骗或破坏手段。

本吉奥认为，赋予AI类似人类的自主权很容易被用于恶意目的，例如虚假信息、生物武器和网络攻击。他说道：“如果我们失去对流氓超级智能AI的控制，它们可能会极大地危害人类。”

这位图灵奖的获得者表示，LawZero的首要任务是验证方法论的可行性。团队计划从开源AI模型入手，通过训练使“科学家AI”逐步适应前沿技术的发展节奏。他强调：“作为护栏的AI至少要与被监管的AI智能体一样智能”，否则将无法有效应对快速进化的风险。

据了解，该组织目前拥有超过15名研究人员，并获得由谷歌前老板施密特和夫人温迪创立的慈善机构施密特科学的资助。

新闻来源：星洲日报

*部分照片取自网络，内容谈谈网归有，若想参考请附加此文的链接。谢谢！照片如有侵犯版权问题请告知，谈谈网必定删除。