锐角|警惕AI“一本正经”说谎

“自2025年1月1日起,宁波市将免费乘坐公交车的年龄从70周岁降低至65周岁……”如果你通过AI咨询“多大年纪的老年人在宁波可以免费乘坐公交”相关问题,可能会获得这样的回答。然而,这却是一条彻头彻尾的假消息。记者使用了目前较为流行的“豆包”“文心一言”“kimi”等人工智能软件,询问“宁波公交年满65岁优惠政策”这一问题,三个人工智能软件的回答中,仅有一个回答是正确的。(1月5日《宁波晚报》)

生成式AI技术极大提高了创作效率,诸如文本、图片、视频等创作变得轻而易举,从输入提示词到生成结果,仅需短短几秒,令创作者如虎添翼,促进AI技术快速得到应用。然而,由于目前AI技术尚不成熟,创作出来的作品良莠不齐,甚至存在一些低级错误,导致其结果并不太理想。更为尴尬的是,AI大模型还会产生“AI幻觉”,一本正经地胡说八道,输出大量假消息,进而误导用户

此次曝光的关于“宁波公交年满65岁优惠政策”的“AI说谎”事件,就是典型的“AI幻觉”现象。比如,有AI软件是通过搜索公众号、抖音视频里的内容,将其汇总整理,作为答案交给用户。由于这些源头信息并非出自权威渠道,内容质量低劣、不真实、可信度偏低,而AI软件缺乏辨识真伪的能力,将其当成真实信息提供给用户,就成了“真实的谎言”。

而且,AI软件还存在迎合、讨好用户的情况,会随着用户的提示信息的变化,随时改变立场和答案。目前,在AI使用量快速提升之际,AI生成的垃圾内容也已泛滥成灾,不仅会误导用户,还形成反噬效应,对大模型的未来发展构成实质性威胁。随着高质量数据的急剧减少,仅依赖原始数据无法满足AI模型的庞大需求,垃圾内容充斥的低质量数据不断增加,导致模型输出的质量和性能亦面临下降风险,给用户提供的答案愈发不可信。

正所谓“假作真时真亦假”,面对AI内容遭到大范围污染的情况,警示用户不宜过度依赖AI软件,在咨询、搜寻一些涉及个人权益、重要信息、政策法规等内容时,还是要摆脱AI路径,通过权威渠道获得真实可靠答案,以免误事。同时,用户在获得AI生成内容后,也不要急于分享,不妨先验证下内容真伪,再做定夺,以免被“AI谣言”误导,触犯造谣传谣的法律红线。

至于始作俑者,AI软件开发商亦需重视“AI说谎”问题,通过新技术持续升级迭代产品,深耕大模型运营管理平台和知识数据平台,筛选可靠信源,提高逻辑推理判断、真伪信息甄别能力,优化大模型体验,逐渐消除“AI幻觉”,让AI输出内容真实可靠。监管部门亦应跟踪AI技术发展潮流,及时出台规范标准,了解分析用户的反馈、投诉情况,督促AI平台、软件开发商堵漏、升级,并对违法违规行为予以惩治。

文字:江德斌 编辑:陈海阔 责任编辑:莫海晖
锐角|警惕AI“一本正经”说谎
珠海特区报 2025-01-06 01:31

“自2025年1月1日起,宁波市将免费乘坐公交车的年龄从70周岁降低至65周岁……”如果你通过AI咨询“多大年纪的老年人在宁波可以免费乘坐公交”相关问题,可能会获得这样的回答。然而,这却是一条彻头彻尾的假消息。记者使用了目前较为流行的“豆包”“文心一言”“kimi”等人工智能软件,询问“宁波公交年满65岁优惠政策”这一问题,三个人工智能软件的回答中,仅有一个回答是正确的。(1月5日《宁波晚报》)

生成式AI技术极大提高了创作效率,诸如文本、图片、视频等创作变得轻而易举,从输入提示词到生成结果,仅需短短几秒,令创作者如虎添翼,促进AI技术快速得到应用。然而,由于目前AI技术尚不成熟,创作出来的作品良莠不齐,甚至存在一些低级错误,导致其结果并不太理想。更为尴尬的是,AI大模型还会产生“AI幻觉”,一本正经地胡说八道,输出大量假消息,进而误导用户

此次曝光的关于“宁波公交年满65岁优惠政策”的“AI说谎”事件,就是典型的“AI幻觉”现象。比如,有AI软件是通过搜索公众号、抖音视频里的内容,将其汇总整理,作为答案交给用户。由于这些源头信息并非出自权威渠道,内容质量低劣、不真实、可信度偏低,而AI软件缺乏辨识真伪的能力,将其当成真实信息提供给用户,就成了“真实的谎言”。

而且,AI软件还存在迎合、讨好用户的情况,会随着用户的提示信息的变化,随时改变立场和答案。目前,在AI使用量快速提升之际,AI生成的垃圾内容也已泛滥成灾,不仅会误导用户,还形成反噬效应,对大模型的未来发展构成实质性威胁。随着高质量数据的急剧减少,仅依赖原始数据无法满足AI模型的庞大需求,垃圾内容充斥的低质量数据不断增加,导致模型输出的质量和性能亦面临下降风险,给用户提供的答案愈发不可信。

正所谓“假作真时真亦假”,面对AI内容遭到大范围污染的情况,警示用户不宜过度依赖AI软件,在咨询、搜寻一些涉及个人权益、重要信息、政策法规等内容时,还是要摆脱AI路径,通过权威渠道获得真实可靠答案,以免误事。同时,用户在获得AI生成内容后,也不要急于分享,不妨先验证下内容真伪,再做定夺,以免被“AI谣言”误导,触犯造谣传谣的法律红线。

至于始作俑者,AI软件开发商亦需重视“AI说谎”问题,通过新技术持续升级迭代产品,深耕大模型运营管理平台和知识数据平台,筛选可靠信源,提高逻辑推理判断、真伪信息甄别能力,优化大模型体验,逐渐消除“AI幻觉”,让AI输出内容真实可靠。监管部门亦应跟踪AI技术发展潮流,及时出台规范标准,了解分析用户的反馈、投诉情况,督促AI平台、软件开发商堵漏、升级,并对违法违规行为予以惩治。

文字:江德斌 编辑:陈海阔 责任编辑:莫海晖