關注全球時事|洞察國際風雲
2025-03-18 17:24 星期二

AI幻觉频现 风险挑战几何

时间:2025-08-19 10:04 来源:快讯社

  当前,人工智能技术快速发展,但大模型“自说自话”、一本正经“胡说八道”、生成偏离事实内容的问题日益凸显,这一现象被称为“AI幻觉”。不少业内人士提醒,由于大模型主要基于概率生成文本而非逻辑推理,在短期内难以完全避免此类问题。

  《瞭望》新闻周刊记者观察到,AI虚构事实或逻辑混乱的“幻觉”已在法律、内容创作、专业咨询等多个领域造成实际影响。

  AI技术的发展方兴未艾,但确保其生成内容的真实性和可靠性,尤其需要技术开发者、监管机构共同努力。针对“AI幻觉”问题,业界建议,在技术层面,要持续优化模型架构,增强事实核查能力;在监管层面,需完善相关规范,明确责任边界。

AI幻觉 AI辅助设计

  幻觉频现

  “AI幻觉”已经成为当前AI技术发展中最突出的技术瓶颈之一。从技术层面来看,AI幻觉的产生主要源于三个方面的原因:首先是训练数据的不足或偏差,导致模型对某些领域的认知存在缺陷;其次是算法架构的局限性,当前主流大模型主要基于概率预测而非逻辑推理;最后是训练目标的设定问题,模型往往更倾向于生成“流畅”而非“准确”的内容。

  “AI幻觉主要表现为事实性幻觉和逻辑性幻觉两种。”业内人士介绍,事实性幻觉,表现为模型会编造完全不存在的事实或信息。这种情况在专业领域尤为突出,如在法律咨询中虚构判例,在医疗诊断中给出错误结论,或杜撰历史事件。逻辑性幻觉,表现为模型在长文本生成或连续对话中出现前后矛盾、逻辑混乱的情况,这主要是因为当前大模型的注意力机制在处理复杂语境时存在局限性。

  多项研究证实了AI幻觉问题的严重性。今年3月,哥伦比亚大学数字新闻研究中心针对主流AI搜索工具进行的专项测试发现,这些工具在新闻引用方面的平均错误率达到60%。一些研究显示,AI并不擅长辨别“新闻事实来自哪里”,会出现混淆信息来源、提供失效链接等问题。更令人担忧的是,随着模型规模的扩大,某些类型的幻觉问题不仅没有改善,反而呈现加剧趋势。

  多位业内专家认为,AI幻觉问题在现有技术框架下难以彻底解决。思谋科技联合创始人刘枢表示,当前的大模型架构决定了其本质上是一个“黑箱”系统,优化结构等方式只能缓解模型幻觉问题,很难完全避免幻觉的产生。

  有受访者从认知科学的角度分析,当前的大模型处于“我不知道我知道什么”的状态,缺乏对自身知识边界的准确判断能力。这些技术特性决定了AI幻觉问题的存在,需通过多方面的技术改进来逐步缓解。

  警惕风险

  业界普遍认为,在AI幻觉短期内难以完全消除的背景下,其潜在风险已从信息领域蔓延至现实世界,可能带来较大风险。

  世界经济论坛《2025年全球风险报告》已将“错误和虚假信息”列为全球五大风险之一,其中AI生成的幻觉内容被视作关键诱因之一。

  AI幻觉最直接的危害是造成“信息污染”。在法律领域,美国纽约南区联邦法院在审理一起航空事故诉讼时发现,原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例,这些虚构案例包括完整的案件名称、案卷号及法官意见,甚至模仿了美国联邦最高法院的判例风格,其虚构能力干扰了司法程序。

  金融咨询领域,AI可能给出错误投资建议,如误读财报数据或虚构企业信息。

  更令人担忧的是,这些错误信息可能被其他AI系统吸收,形成“幻觉循环”——错误数据不断被强化,最终污染整个信息生态。

  随着AI技术向实体设备领域渗透,幻觉问题的影响已超越虚拟范畴,可能对人身安全构成威胁。在自动驾驶领域,生成式AI被用于实时路况分析和决策制定。业内人士表示,在复杂路况中,自动驾驶若产生“感知幻觉”,可能导致系统误判环境,触发错误决策,直接威胁行车安全。

  人形机器人领域风险更值得关注。优必选副总裁庞建新说:“当机器人因幻觉做出错误动作时,后果远超文本错误。”例如,护理机器人可能误解指令给患者错误用药,工业机器人可能误判操作参数造成生产事故。这些场景中,AI幻觉甚至可能威胁人身安全。

  协同治理

  对于AI幻觉问题带来的挑战,业内人士建议从技术创新、制度监管等多个维度构建综合治理体系。

  技术创新是解决AI幻觉问题的根本途径。近年来,业界已提出多种技术方案来应对这一挑战。刘枢等介绍,检索增强生成(Retrieval-augmented Generation,RAG)技术融合了检索与生成模型优势,是当前重要的发展方向之一。其通过将大模型与权威知识库实时对接,能显著提升生成内容准确性。

  全国政协委员、360集团创始人周鸿祎提出“以模制模”,构建专业知识库,实施合理的矫正机制,构建更完善的安全防护体系,降低“幻觉”带来的负面影响。例如,研发专用的安全大模型来监督知识库使用和智能体调用,并采用多模型交叉验证、搜索矫正等技术手段来识别和纠正幻觉。

  制度监管方面需要建立多层次的治理体系。云天励飞品牌运营中心总经理胡思幸认为,要完善监管治理,研究AI生成内容“数字水印+风险提示”双重标识,为AI生成内容提供有效的溯源和警示机制。针对日益突出的AI造谣问题,法律界人士建议,要持续完善相关规定,明确利用AI造谣的法律责任,加大对违法行为的惩处力度。

  治理体系之外,当前阶段,在用户使用AI开展工作时,亦需要建立对AI能力的理性认知,了解其局限性。培养多渠道验证信息的习惯,优先选择权威、可信赖的媒体或机构作为信息来源,这些基本素养的提升将有效降低AI幻觉的社会影响。同时,在与AI系统交互时应保持必要的怀疑态度和批判思维,多渠道核查验证信息的准确性。

外交部:将本着科学原则研究日方关于恢复水产品输华请求
外交部:坚决反对美国向中国台湾地区出售武器
测试视频
综合看点 查看更多>>
弹劾赫格塞思 美国会两党面临棘手难题
冲绳县知事要求重新审视日美地位协定
以色列总统正式授权埃森科特组建新政府
法国新一轮示威游行全国至少57.5万人上街
以议会选举结果正式公布 两大阵营均未获多数席位
纵横天下 查看更多>>
美国10月核心通胀压力持续
民调:82%德国人不满默茨执政表现
秘鲁多地实施紧急状态应对厄尔尼诺
特朗普称弹劾他会“摧毁”民主党
美国举行中期选举投票 特朗普政府迎来“期中考试”
马来西亚高等法院批准前总理纳吉布居家服刑
起底日本右翼“文化投毒”的四种手法
COP31将在土耳其安塔利亚举行
中东欧四国总统峰会在斯洛伐克举行
美国9月贸易逆差维持在相对高位
以色列新一届议会举行首次会议
古特雷斯警示“极端气候新时代”
南非地方选举计票结束 非国大保住第一大党地位
中外代表共话人工智能时代的全球传播治理合作
美民主党重掌国会 特朗普执政承重压
高质量共建“一带一路”,赋能现代化与文明互鉴
2026年网络峰会开幕 中国科技力量受瞩目
我国3项档案文献遗产入选《世界记忆亚太地区名录》
世界媒体峰会代表体验北京“西城之夜”
党的二十届五中全会《决定》诞生记
人民空军生日快乐!
第43次南极考察丨“雪龙”号穿越赤道进入南半球
世界各大媒体“掌门人”为何齐聚北京
在“活力中国调研行”中感受高水平对外开放定力
中国品牌亮相第83届米兰国际两轮车展
7位科学家获颁2026年度邵逸夫奖
“文明互鉴国际论坛2026”在澳门开幕
第九届进博会丨港澳台企业透过进博会“链全球”
澳门爱国社团家乡市集嘉年华揭幕
“2026数码港创业投资论坛”在港启动
西渝高铁北碚天府嘉陵江特大桥顺利合龙
努力让这条母亲河越来越美——写在党领导人民治黄80年之际
铁路12306上线新功能 买团体票更方便
西藏巴青:架设安置板房供电线路
台风“蔷琵”向我国靠近 中国气象局启动四级应急响应
个人信息是怎么“失窃”的
人民陪审员法实施以来陪审员参与审结案件1550万件
推动新能源车险从“政策驱动”走向“法治定型”
全国人大常委会开展海南自由贸易港法执法检查 法治护航海南自由贸易港建设
公安部网安局发布拒不履行信息网络安全管理义务案例
甘肃静宁:山地梯田保墒覆膜忙
甘肃文县蜜橘丰收
内蒙古:机械化作业奏响秋收乐章
河南灵宝:苹果丰收采摘忙
湖南:秋粮收获金秋时
河南这三味药,凭什么“出圈”?
优质医疗服务来到家门口
桑拿天比暴晒天更易中暑:藿香正气水、退烧药、掐人中不管用,还会加重病情
“超慢跑”火了,不累还能“暴击”内脏脂肪!还没试过就亏大了
国家卫生健康委关于修改和废止部分部门规章的决定(附解读)
前沿科技 查看更多>>
中国“两次发射”方案亮相 全球载人登月进入多路线并行时代
快舟六号火箭预计2027年完成首飞及回收
中国空间站造出的已知最冷物质有什么用
算力成光纤行业第一增长引擎
我国实现世界首次舱外激光“微创”试验
健康生活 查看更多>>
“双11”消费转向看品质选服务
第九届进博会|看银发“黑科技”如何解锁智慧养老
智能控制,有多智能?
智能互联网让智能体既“连得通”又“信得过”
基础研究新局
实用技术 查看更多>>
全球首发!载重176吨纯电矿卡下线
长十二火箭成功发射卫星互联网低轨29组卫星
全球最大液态空气“充电宝”并网发电
中国科学院院士赵继宗:脑机接口稳定性需接受五年大考
2025年我国新型显示产业营收超8000亿元
科普博览 查看更多>>
AI助力筛选高性能钙钛矿界面材料
在进博会上感受人工智能产业新脉动
智能向实 人才向新 合作向深——从2026自动化大会看产业新趋势
6G,有啥不一样
有色金属成为“算力基石”
太行藏冶艺 铁韵传千年
国博为九龙九凤冠单独办展
第七届荆楚乡村文化旅游节启幕
乐舞传情 交流互鉴——中外艺术家共赴敦煌之约
衣冠里的苗家文化
@高校毕业生:提升就业能力 这三类补贴别错过
教育部、公安部、农业农村部部署实施服务乡村振兴高校招生专项计划
教育部发布秋招季求职预警:勿信“花钱能买好工作”
京雄首次组团式教师轮岗实训正式启动
培养一技之长 超八成受访青年尝试学门手艺
从小县城到青奥会,改写纪录的张可依何以“被看见”?
青奥会——体操:中国男团夺冠
中超综合:5轮连追14分 大连英博惊天逆转夺冠
举重比赛的加重员,只是给杠铃“加片儿”吗
国家田径集训队在广西南宁冬训
厦门邮轮旅游吸引力持续攀升
呼伦湖进入封冻期 现“冰浪”奇观
广西:多彩文旅嘉年华
立冬将至,各大滑雪场陆续开板啦
宁夏文旅何以“逆袭”