网络安全公司 SlashNext 发现,危机如今的聊天 AI 聊天机器人出现了一种令人担忧的情况。有用户利用AI聊天机器人系统漏洞进行"越狱"操作,机器这违反了道德准则和网络安全协议。人领
ChatGPT曾因其先进的域兴对话能力而声名鹊起,然而有一些用户发现了能够绕过其系统内置的越狱潮安全措施的弱点。如果有人可以操纵聊天机器人提示系统,面临那就能发布一些未经审查和监管的安全内容,这引发了道德问题。危机
AI聊天机器人 "越狱 "涉及发布特定命令或叙述,聊天可触发无限制模式,机器使AI能够不受约束地做出反应。人领网上一些讨论社区中已经有人在分享这些越狱的策略和战术。
Critical Start 公司网络威胁研究高级经理 Callie Guenther 说:这些平台是用户分享越狱策略、战略和提示的协作空间,以充分发挥人工智能系统的潜力。虽然这些社区的主要动力是探索和推动人工智能的发展,但必须注意到事情的两面性。
SlashNext解释说,这种趋势也引起了网络犯罪分子的注意,他们开发了一些可以利用定制的大型语言模型(LLM)达到恶意目的工具。
研究表明,除了 WormGPT 以外,这些工具大多只是连接到越狱版的公共聊天机器人,能够允许用户在保持匿名的情况下利用AI生成一些内容。
随着AI技术的不断进步,人们对AI越狱的安全性和道德影响的担忧与日俱增。防御安全团队在这方面希望能实现以下两个目标:
据 SlashNext 报道,OpenAI 等组织正在采取积极措施,通过漏洞评估和访问控制来加强聊天机器人的安全性。
研究人员目前正在探索更加有效的策略来强化聊天机器人的安全性,以防止其被那些恶意行为者所利用。AI安全仍处于早期阶段,Darktrace方面未来的目标是开发出能够抵御试图破坏其安全的聊天机器人,同时继续为用户提供有价值的服务。
责任编辑:赵宁宁 来源: FreeBuf.COM 人工智能网络安全(责任编辑:综合)
东方空间完成4亿元A轮融资 老股东鼎和高达、天府三江资本等机构持续加持
联想商用全线上新 ThinkStation阿斯顿马丁工作站重磅亮相
三季度基金代销机构公募基金保有规模前100强名单 银行C位不变
中证金力挺民企债券融资专项计划 完善民营企业债券融资支持机制