只要簡單幾個提示詞，人工智能（AI）工具就能為我們生成指定的文本、圖片、視頻，一鍵識別快速給出作業(yè)的答案，甚至能思考并完成PPT的制作。遇到問題先找“AI”，成為越來越多人的日常。然而，圖片可能并不符合時代背景、給出的答案仔細查證并不真實，甚至?xí)幾敕蓷l文或歷史事件……這么聰明的AI，為什么會“一本正經(jīng)地胡說八道”呢？

AI幻覺與監(jiān)管體系的對抗（圖片由豆包AI生成）

AI幻覺為多領(lǐng)域引入風(fēng)險

11月12日，法治日報報道了北京市通州區(qū)人民法院審結(jié)的一起案件，看似“完美佐證”的案例，卻是AI軟件“捏造”的虛假信息。在一起商事糾紛案件中，原告代理人庭后向法院提交了書面意見，其中援引了名為最高人民法院的某案例及上海一中院的（2022）滬01民終12345號案件。兩案的事實細節(jié)、法律爭議與裁判邏輯都與審理中的案件高度契合，完美佐證原告代理人主張的觀點。

然而，“完美”經(jīng)不起推敲，經(jīng)查，兩起案例均為AI“編造”，是以審理中的案件為基礎(chǔ)反復(fù)向AI大模型軟件提問得出的結(jié)果。這不僅讓我們看到AI虛假信息進入司法程序，給司法公正帶來的風(fēng)險，也將“AI幻覺”的問題重新揭示在大眾面前。

事實上，AI內(nèi)容造假并非新近話題。早在AI軟件普及之初，就有網(wǎng)友發(fā)現(xiàn)，AI軟件會生成根本不存在的內(nèi)容，或者引用不存在的法律條文、參考文獻等，雖然大幅提高了生產(chǎn)和工作效率，卻帶來了“信用危機”。

在今年2月由清華大學(xué)新聞與傳播學(xué)院新媒體研究中心與人工智能學(xué)院發(fā)布的《DeepSeek與AI幻覺》報告（以下簡稱報告）中，AI幻覺被定義為“模型生成與事實不符、邏輯斷裂或脫離上下文的內(nèi)容，本質(zhì)上是統(tǒng)計概率驅(qū)動的‘合理猜測’。”

報告列舉了一起Whisper自動語音識別系統(tǒng)在醫(yī)療領(lǐng)域的應(yīng)用案例。該系統(tǒng)可以將患者與醫(yī)生問診過程的音頻轉(zhuǎn)寫為文字病歷，已覆蓋超過3萬名臨床醫(yī)生和40個醫(yī)療系統(tǒng)。這本應(yīng)成為將醫(yī)生從繁重的文案工作中解放出來的先進工具，卻導(dǎo)致了嚴重的后果。

經(jīng)查，100多個小時的Whisper轉(zhuǎn)錄樣本中，約有一半內(nèi)容存在幻覺。進一步調(diào)查發(fā)現(xiàn)，2.6萬份自動轉(zhuǎn)錄病例中，幾乎每本都存在瞎編和幻覺問題，對患者健康和醫(yī)療系統(tǒng)帶來了嚴重的負面影響。

究其原因，“看起來非常聰明，能回答很多問題的大語言模型，所謂的‘智能’其實是算出來的。既然是計算，本身就存在一定的不確定性，給出來的答案也會有偏差?！标愮娊忉尩?。

多因素交織導(dǎo)致AI幻覺

那么，影響幻覺率高低的因素有哪些？

“不僅有算法的因素、算力的因素，還有訓(xùn)練數(shù)據(jù)和訓(xùn)練過程的因素，這些因素都會導(dǎo)致大語言模型出現(xiàn)幻覺率較高的情況?！标愮娊榻B道。

所謂幻覺率高的情形，一方面是計算本身的算法有相應(yīng)的偏差，還有一些情況雖然算法可能是準確的，但是計算精度不夠也會帶來偏差。此外，數(shù)據(jù)在做訓(xùn)練時，人類通常會采用獎勵函數(shù)來引導(dǎo)計算過程和答案之間的對應(yīng)關(guān)系。一旦獎勵函數(shù)出現(xiàn)了偏差，相應(yīng)地也會帶來幻覺。

值得關(guān)注的是，AI大模型訓(xùn)練過程中還出現(xiàn)了一種新的“數(shù)據(jù)投毒”污染，即在訓(xùn)練AI大模型時，在數(shù)據(jù)“投喂”的過程中，故意加入一些虛假的內(nèi)容，或者是修改其模型文件（整個訓(xùn)練的結(jié)果），讓AI生成的答案符合某些特定意圖。

根據(jù)新華網(wǎng)的報道，當訓(xùn)練數(shù)據(jù)中僅有0.01%的虛假文本時，模型輸出的有害內(nèi)容會增加11.2%；即使是0.001%的虛假文本，其有害輸出也會相應(yīng)上升7.2%。

這種“數(shù)據(jù)投毒”除了會導(dǎo)致不良信息、虛假信息外，還會造成更嚴重的后果。比如在醫(yī)療領(lǐng)域，被“投毒”的AI大模型可能會誤診病情；在金融領(lǐng)域，被篡改的算法可能引發(fā)交易風(fēng)險；在自動駕駛領(lǐng)域，惡意數(shù)據(jù)可能讓車輛在關(guān)鍵時刻失明，等等。

AI幻覺的分類

陳鐘介紹，AI幻覺又分為事實性幻覺和忠實性幻覺。事實性幻覺指的是AI大模型生成的內(nèi)容與實際存在于現(xiàn)實世界的事實不一致。我們經(jīng)常說的一本正經(jīng)地胡說八道可以理解為事實性幻覺的一種表現(xiàn)。

忠實性幻覺指的是AI大模型生成的內(nèi)容與用戶的提問不一致，也就是AI工具給出的答案可能是對的，但并不是用戶想要的，簡而言之就是“答非所問”。

舉例來說，如果用戶提問，“糖尿病患者可以通過吃蜂蜜來代替糖嗎？”在事實性幻覺的情況下，AI大模型可能會告訴用戶，“是的”，然后介紹蜂蜜是天然的，可以幫助糖尿病患者穩(wěn)定血糖水平?！暗鋵嵾@個是錯的，蜂蜜也是升糖的?！标愮娊忉尩馈?/p>

而在忠實性幻覺情況下，AI大模型可能會回答，蜂蜜富含微生物和礦物質(zhì)，對提高免疫力很有幫助，因此是一種健康的食品?！按竽Ｐ徒o出的這句話是對的，但是我并沒有問它蜂蜜是不是健康食品，我是想問它糖尿病患者能不能吃這件事?！标愮娺M一步補充道。

引導(dǎo)AI向善的治理實踐

針對AI大模型伴隨的相關(guān)問題，國際層面廣泛重視并采取了多項行動。

在剛剛結(jié)束的世界互聯(lián)網(wǎng)大會上，《為人類共同福祉構(gòu)建全球人工智能安全與治理體系》報告正式發(fā)布，提出了以聯(lián)合國為中心構(gòu)建全球人工智能安全治理體系的機制舉措與政策建議。近年來，我國積極通過《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標識辦法》等法律法規(guī)，探索建立生成合成內(nèi)容標識、安全評估等制度，來有效防范相關(guān)風(fēng)險。

實踐層面，中央網(wǎng)信辦牽頭，在全國范圍內(nèi)開展“清朗·整治AI技術(shù)濫用”專項行動，通過強化AI技術(shù)源頭治理、聚焦利用AI技術(shù)制作違法不良信息等，防范AI技術(shù)濫用，維護網(wǎng)民合法權(quán)益。

國際視角，近日，日本政府公布人工智能利用指針草案，要求企業(yè)積極公開信息、防止高度仿真的“深度偽造”圖像等不當內(nèi)容擴散，并呼吁公眾正確理解AI特性及其潛在風(fēng)險，如偏見與犯罪用途。

聯(lián)合國則于去年3月通過了《抓住安全、可靠和值得信賴的人工智能系統(tǒng)帶來的機遇，促進可持續(xù)發(fā)展》決議。歐盟也以《人工智能法》為核心治理框架，通過構(gòu)建風(fēng)險分級管控與倫理審查并行的雙重機制，在維護安全底線的同時為人工智能技術(shù)創(chuàng)新保留發(fā)展空間。

用戶何去何從？

陳鐘進一步分享了用戶如何應(yīng)對AI大模型幻覺率高的方法。

他指出，核心在于提高科技素養(yǎng)。要主動擁抱新技術(shù)，深入了解大語言模型的計算原理究竟是什么。在具體操作層面，他表示，對于只需要用基礎(chǔ)模型就能解決或者回答的問題，盡量少用推理模型。如果必須用到推理模型，則可以通過以下幾種方式盡可能地降低幻覺率。

一是提出相應(yīng)的約束條件，盡可能避免大語言模型朝著沒有約束的方向引出相應(yīng)的幻覺；二是對比同一問題不同模型給出的答案，掌握幻覺率高和低的模型間的差異。

在此基礎(chǔ)上，陳鐘認為最重要的一點是如果所需要的答案對于真實性和準確性的要求極高，一定要通過人工的方式反復(fù)核查核驗，而不是簡單地相信AI模型給出的結(jié)果，并直接引用。

在此層面，中華女子學(xué)院媒介與女性研究院主任、副教授、研究生導(dǎo)師、《AI時代職場與家庭的雙贏密碼》作者劉旸也給出了青少年安全合理使用AI工具的建議。家庭層面，家長應(yīng)盡量引導(dǎo)青少年不要直接照搬AI工具生成的答案，而是查看其思考過程；或者說，針對某道不會的題目，可以讓AI再生成一道同類型的其他題目，從而實現(xiàn)繼續(xù)學(xué)習(xí)、增強記憶的效果。青少年自身對于AI生成的內(nèi)容也要保持合理的警惕，不要一味地完全相信，可以通過交叉驗證（用多個信息來源核對）、追溯信源（讓AI提供信息來源）、運用批判性思維（這個答案符合常識和邏輯嗎？）等方法來主動辨別AI生成內(nèi)容的真?zhèn)巍?/p>

談及從根源上降低AI大模型生成內(nèi)容的幻覺率，陳鐘呼吁，最主要的還是要靠大語言模型的開發(fā)者，從技術(shù)手段創(chuàng)新層面來解決相應(yīng)的問題。

一些主流的AI大模型廠商，已經(jīng)采取了相應(yīng)措施，從技術(shù)層面筑牢AI幻覺的防御墻。新華網(wǎng)的報道提到，豆包升級了深度思考功能，由先搜后想變?yōu)?span id="9hp1dnvvhx" class="technical_term" style="box-sizing: border-box; color: rgb(0, 85, 255); cursor: pointer;">邊想邊搜，思考過程中可以基于推理多次調(diào)用工具、搜索信息，回復(fù)質(zhì)量明顯提升；通義千問在20多個通用任務(wù)上應(yīng)用強化學(xué)習(xí)，增強通用能力的同時糾正不良行為；元寶持續(xù)擴充引入各領(lǐng)域的權(quán)威信源，在回答時交叉校驗相關(guān)信息，提高生成內(nèi)容的可靠性。

AI幻覺的治理之路，既是技術(shù)迭代的探索，也是人與智能協(xié)同的修行。唯有持續(xù)強化技術(shù)研發(fā)、健全規(guī)范體系、完善校驗機制，方能從根源上遏制幻覺風(fēng)險，筑牢AI應(yīng)用的可靠底線。當AI工具擺脫“虛妄”的桎梏，以更安全、精準的姿態(tài)融入生產(chǎn)生活各領(lǐng)域，人工智能技術(shù)在賦能社會進步、增進民生福祉方面的重要意義才將持續(xù)放大。

參考資料：

1.新華網(wǎng).新華視點·關(guān)注AI造假丨當AI“一本正經(jīng)胡說八道”……2025.09.24.

2.新京報.AI編造“完美”案例，為司法帶來虛假信息風(fēng)險.2025.11.12.

3.人民郵電報.中央網(wǎng)信辦開展“清朗·整治AI技術(shù)濫用”專項行動.2025.05.08.

4.新浪財經(jīng).日本政府出臺人工智能草案 要求AI大模型運營商降低幻覺率.2025.11.12.

5.人民法院報.人工智能法律治理的國際實踐.2025.04.11.

6.信息安全國家工程研究中心.《為人類共同福祉構(gòu)建全球人工智能安全與治理體系》發(fā)布.2025.11.10.

7.清華大學(xué)新聞與傳播學(xué)院新媒體研究中心、人工智能學(xué)院. DeepSeek與AI幻覺.2025.02.

來源：北京科技報

采訪專家：陳鐘（北京大學(xué)計算機學(xué)院教授、元宇宙技術(shù)研究所所長）

撰文：記者 賈朔榮