關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
数千人在哥本哈根游行抗议美国图谋格陵兰岛
日媒称日本立宪民主党与公明党就联合组建新党达成一致
格陵兰:我不是待售的羔羊!
金与正:朝韩关系现实绝不可能改变
罗德里格斯回应特朗普“自诩委内瑞拉代总统”
纵横天下 查看更多>>
马克龙称若美加征关税 将推动欧盟启动反胁迫工具
格陵兰岛:美欲“接管”,欧洲想“派兵”,俄称“勿无视俄利益”
特朗普:将对伊朗局势“拭目以待”
伊朗民众举行反骚乱集会
中国驻柬使馆再次提醒中国公民抵制“高薪”诱惑
走进沙特千年古城——欧拉
委内瑞拉代总统呼吁推进石油行业改革以吸引外资
伊朗宣布暂时关闭领空
委内政部长:美国袭击委内瑞拉是“彻头彻尾的暴行”
墨总统:已排除美国在墨西哥采取军事行动可能性
巴基斯坦卡拉奇一购物中心发生火灾致6人死亡
美媒:美正向中东增派包括航母在内的兵力
加拿大总理卡尼抵达北京开始访华
韩国检方要求判处前总统尹锡悦死刑
“我们有哨,他们有枪”——美国暴力移民执法激起民众反抗
增长5%!2025年中国GDP跨越140万亿元关口
李强主持召开国务院党组会议 学习贯彻习近平总书记在二十届中央纪委五次全会上的重要讲话和全会精神
习近平在二十届中央纪委五次全会上发表重要讲话
国务院任免国家工作人员
灵鹊150无人机成功首飞
神舟二十号飞船安全顺利返回东风着陆场 中国空间站太空应急行动主要任务圆满完成
谷神星一号海射型遥七运载火箭发射成功
湖南常德:瞄准国际市场 赶制外贸订单
突出问题导向 推动末端治理向全过程防控转变——国务院政策例行吹风会解读《固体废物综合治理行动计划》
王毅在结束对非洲访问后接受中国媒体采访
实事求是谋发展 人到心到践承诺——访香港特区立法会议员方国珊
不忘服务街坊的初心——访香港特区立法会议员郭芙蓉
香港特区第八届立法会举行首次会议 聚焦大埔宏福苑火灾善后事宜
香港“兴”观察·香港故事丨用热爱与拼搏创造赛场传奇
陈振英当选香港特区立法会内务委员会主席
沪宁合高铁201.5米转体梁成功转体跨越京沪高铁
海南2025年绿电交易首破百亿千瓦时
国家电网经营区去年省间交易电量规模创新高 首次突破1.6万亿千瓦时
六类涉住房租赁企业纠纷高发 54.8万笔租赁合同、17.1亿元资金纳入监管
民生领域反垄断执法再加力 平台经济成重点
中央政法工作会议在京召开 陈文清出席会议并讲话
海南加强种业知识产权司法保护 服务“南繁硅谷”建设
2025年全国共侦破电信网络诈骗案件25.8万起
市场监管总局推行服务型执法取得明显成效
美司法部:发现超100万份爱泼斯坦案文件 或需数周才能公布
一片叶“沏”出农文旅融合新画卷
云南元谋:南菜北运生产忙
中央农村工作会议关键提法之四:新一轮千亿斤粮食产能提升行动
强化深度体验,云南旅居经济持续升温
打好特色牌!“产业旺”促“乡村兴”
医疗纠纷应对:书面记录是最好的抗辩证据
2025年中华医学科技奖揭晓!
国家卫生健康委召开年轻干部座谈会
103岁传奇医生离世!他坚持一生的5个长寿抗老习惯,很多人忽略了
国家卫生健康委确定2026年全系统为民服务十件实事
前沿科技 查看更多>>
中国空间站动态|“砺箭21”乘组,在轨工作状态良好!
2025年我国智能手表、智能玩具畅销170多个国家和地区
加快构建新一代创新基础设施 抢占人工智能时代产业定义权
我国成功发射遥感五十号01星 中国航天2026年首次发射开门红
大型撞击造成月幔“蒸发”?嫦娥六号样品又有新发现
健康生活 查看更多>>
人工智能赋能就业模式转型 多元新形态加速涌现
AI健康产品密集登场
从技术验证迈向量产交付 硬科技龙头企业开启“规模化元年”
我国提出到2028年重点工业互联网平台工业设备连接数突破1.2亿台(套)
2026年,AI将深度嵌入日常生活
实用技术 查看更多>>
动力电池回收利用管理进一步完善 引导产业走向规范新阶段
脑机接口迎来技术奇点?
工信部:加快突破高级别自动驾驶技术
资金和政策协同发力 脑机接口技术落地与商业化提速并进
科技赋能智慧生产 自研零件驱动全球品牌
科普博览 查看更多>>
物理AI:人工智能发展又一高光时刻
防控贴护眼仪能改善视力吗
工信部印发《推动工业互联网平台高质量发展行动方案》
瞄准AI等新兴产业 上海加码开源生态建设
我国科研人员让精密电路像“保鲜膜”一样能包裹万物
高空观展 乐享非遗
校园青春版《牡丹亭》在台首演 再掀昆曲热潮
秦兵马俑考古新发现:二号坑发掘出土两乘战车
呼和浩特:冰雪搭台唱响文旅融合乐章
《醒·狮》带着醒狮回家了
2026年度“国考”笔试成绩和合格分数线公布
美国袭击过后 委内瑞拉中小学如期开学
教育部教师队伍建设专家指导委员会教育人才“组团式”帮扶工作分委会召开第一次全体委员会议
2026年全国教育工作会议召开
以技为桥 向绿而行 绘就云南职教融合发展新图景
十五运会香港奖牌运动员获表彰
冬奥年,北京将迎四大洲花样滑冰锦标赛
朱琳、白卓璇、袁悦、吴易昺挺进澳网资格赛决胜轮
中国杂技团获布达佩斯国际马戏节评委会大奖
第40届同里杯中国围棋天元赛在京开幕
镜泊湖冬捕:一网开冰湖,沸了丰年
极北之地的幸福“领头人”
北京:乐享什刹海冰趣
冰湖“燃”起来:哈素海冬捕迸发冬日“热效应”
黑龙江海林:冰钓逐趣 “渔”乐无穷