關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
既要又要还要,特朗普陷入“不可能三角”
靠不住的美军,拉仇恨的基地——中东危机对美国亚洲盟友的启示
欧盟外长:中东战事“不是欧洲的战争”
被“点名”参与护航霍尔木兹海峡 韩国要先“研究研究”
伊朗百余学童遇害 因美军拿“过时情报”定坐标?
纵横天下 查看更多>>
沙特首都利雅得遭弹道导弹袭击
伊朗证实最高国家安全委员会秘书拉里贾尼遇害
中美在法国巴黎举行经贸磋商
伊朗伊斯兰革命卫队称将“追杀”以总理内塔尼亚胡
第51届日内瓦国际发明展开幕 中国参展规模创新高
在加油站听美国人算经济账
特朗普对北约“感到失望”
美国为何要组建“霍尔木兹联盟”
越南举行第十六届国会代表选举
沧海桑田话古巴
记者观察:核心分歧难解 巴阿冲突或持续
特朗普再抱怨英国“放马后炮”
海湾石油运输能绕开霍尔木兹海峡吗
日本政府16日起释放石油储备 规模约8000万桶
1500万吃牛排、690万吃龙虾尾,美国防部被曝“龙虾门”
习近平会见土库曼斯坦民族领袖、人民委员会主席别尔德穆哈梅多夫
外交部:中美双方就特朗普总统访华时间等问题保持着沟通
中越举行外交、国防、公安“3+3”战略对话机制首次部长级会议
中美经贸磋商在法国巴黎开始举行
沙尘暴预警继续发布 新疆内蒙古等6省区部分地区有扬沙或浮尘
池州长江公铁大桥北主塔封顶
探访石家庄国际陆港:物流通达效率提升 企业“走出去”信心足
照亮人类共同未来——全球文明倡议的世界共鸣
何以铸就欣欣向荣的中国——2026年全国两会世界观察
我国成功发射试验三十号卫星03、04星
特写:澳门中学生从江实践的青春思考
逾790家展商云集香港国际影视展
香港故事丨百年警署按下“播放键”
台湾省籍代表委员:深化两岸融合发展 携手推进祖国统一大业
香港代表团举行开放团组会议
不负春光“体检”忙 “西电东送”特高压通道启动全面检修
为星空“关灯” “靠光”谋转型——解码一个西北小镇的取舍之道
2025年全国消协组织为消费者挽回经济损失9.25亿元
沪宁合高铁201.5米转体梁成功转体跨越京沪高铁
海南2025年绿电交易首破百亿千瓦时
美法院驳回特朗普政府有关推迟启动退还关税程序请求
AI漫画:司法裁决拦不住美加税野心?
最高法:规范涉企执法司法专项行动期间纠正小过重罚、过罚失当等问题367个
春运期间寄递服务保障工作方案发布 切实保障快递员休息休假等合法权利
最高检发布典型案例 涉停车扫码、人脸识别等场景个人信息保护
西藏山南:生态优势+技术创新 带动农民持续增收
浙江武义:中国有机茶之乡春茶全面开采
中国乡村“颜值”更高“气质”更佳
从“边陲山货”到“全球商品”,深山小玉米借“链”挺进大市场
人勤春早 不负春光——立春时节农耕一线见闻
救护车到底该不该抬人? ——从阳泉事件谈院前急救的一个制度盲区
《关于医保支持基层医疗卫生服务发展的指导意见》政策解读
国家医保局:去年共追回医保基金342亿元,抓获10357人
雷海潮出席全国人大记者会,回应卫生健康热点问题
2026年全国卫生健康法治工作会议在京召开
前沿科技 查看更多>>
打造全球科技交流合作盛会——2026中关村论坛年会看点前瞻
布局脑机接口,加速未来产业落地生花
未来五年 我国前沿科技攻关向“深”而行
硅藻微米机器人精准“狙击”脑胶质瘤
太空旅游离我们还有多远
健康生活 查看更多>>
人工智能重塑短视频内容生态
796款生成式人工智能服务完成备案
抢抓人工智能发展战略机遇期,携手构建网络空间命运共同体
前两个月我国科技创新保持良好发展势头
智能康养机器人养老驿站上线
实用技术 查看更多>>
新型脑机接口可作意念打字“键盘”
AI被“投毒”,如何避免上当受骗
风口之上:“养龙虾”的热闹与隐忧
全固态电池产业化还需3—5年
推动AI人才高质量聚集
科普博览 查看更多>>
江苏靖江:“人工智能+”激活制造业新动能
车企为何扎堆进军人形机器人?
第一批国家新兴产业发展示范基地创建遴选工作启动
AI智能体加速落地 距离“放心放手”还有多远?
“龙虾热”开启AI产业竞速
上海交响乐团新西兰演出受到热烈欢迎
中国西南地区青铜文明展在西班牙开幕
陕西蒋刘遗址发现西周时期遗存
6000年前“制造业”雏形 无锡斗山遗址出土石纺轮作坊
2026全国鼓王大会在石家庄正定古城举办
青海:启动学生体质强健计划三年行动
北大公布2026年研招分数线
以心育人,护航成长:筑牢学生心理健康防线
云南举行医药类高校毕业生招聘会
全国人大代表贾少谦:产教融合是职业教育高质量发展的“核心密码”
张子宇将参加WCBA全明星周末星锐赛
女篮主帅宫鲁鸣:资格赛是历练 盼与更多强队交手
F1中国大奖赛:梅赛德斯包揽冠亚军 安东内利获正赛首冠
蔡佳云、王蒙担任米兰冬残奥会闭幕式中国代表团旗手
宫鲁鸣:中国女篮要通过与世界强队交手提升水平
甘肃宕昌:官鹅沟春雪美如画
浙江宁波:家门口的水上运动公开课
第二艘国产大型邮轮计划3月20日出坞
中国光谷:“科创高地”奋力打造“旅游胜地”
中国至朝鲜国际旅客列车抵达平壤