OpenAI组建新的安全团队，以评估AI“灾难性风险” 网络安全（Cybersecurity）

日前OpenAI方面宣布，组建灾难为评估和减轻与人工智能（AI）相关的新的性风险“灾难性风险”，正在组建一支全新的安全、名为Preparedness的团队安全团队。

具体而言，评估Preparedness团队将负责把各种前沿AI模型的组建灾难能力评估、评价和内部红队（即对模型进行渗透测试的新的性风险攻击方）紧密联系在一起，包括OpenAI在将来开发的安全模型，以及真正“具有AGI能力”的团队模型。该团队将帮助跟踪、评估评估、组建灾难预测和防范多个类别的新的性风险“灾难性风险”，其中包括个性化说服（Individualized persuasion）、安全即AI'说服和欺骗' 人类的团队能力；网络安全（Cybersecurity）；化学、生物、评估放射性和核 (CBRN) 威胁；自主复制和适应（ARA）等。

同时，Preparedness团队还将制定和维护一项“风险知情的开发政策” (RDP)。据了解，该政策将详细说明OpenAI制定严格的前沿AI模型能力评估和监控、创建一系列保护行动以及建立整个开发过程的问责和监督治理结构的方法。对此OpenAI方面表示，“RDP旨在补充和扩展我们现有的风险缓解工作，这有助于新的高性能系统在部署之前和之后的安全性和一致性”。

目前，OpenAI方面已开始招募不同背景的人才加入Preparedness团队，其将由麻省理工学院（MIT）可部署机器学习中心主任Aleksander Madry领导。值得一提的是，OpenAI方面还推出了AI Preparedness挑战赛，前十名参赛选手将获得价值2.5万美元的API积分，并有望加入Preparedness。

OpenAI方面对此强调，“我们相信，前沿AI模型的能力将超越目前最先进的模型，有可能造福全人类。不过，它们也构成了越来越严重的风险……我们需要确保对高性能 AI 模型的安全具备必要的理解和基础设施”。

该公司还进一步指出，要管理前沿AI模型带来的“灾难性风险”，就必须回答三个问题，分别是“前沿AI模型在现在和将来被滥用时有多危险”、“我们如何才能建立一个强大的框架来监测、评估、预测和防范前沿AI模型的危险能力”、“如果我们的前沿AI模型权重被盗，恶意行为者会如何选择利用它们”。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】

延伸阅读：

• OpenAI或进行重大更新，以更低成本来吸引开发者
• OpenAI举办ChatGPT应用开发大赛，平台经济“真香”

(责任编辑：百科)