最近總聽到一個詞叫“AI幻覺”，這是啥意思?

近段時間，中國人工智能領(lǐng)域迎來里程碑式突破。與此同時，大模型與生俱來的“幻覺”問題也引發(fā)了廣泛討論。

什么是“AI幻覺”?

你是不是也遇到過這樣的情況：問 AI 一個問題，它給了你一個特別詳細(xì)、豐富，看上去好有邏輯的答案。但當(dāng)我們?nèi)ズ藢?shí)時，卻發(fā)現(xiàn)這些信息完全是虛構(gòu)的?

這就是“AI 幻覺”現(xiàn)象。

全國政協(xié)委員寇綱介紹，所謂的大語言模型的“幻覺”，通俗一點(diǎn)說，把人工智能想象成一個思考的人，它會在思考過程中形成一個思維鏈。人工智能做不到像人一樣并行處理信息，它是在鏈上以串行的結(jié)構(gòu)來思考。如果它在思考的第一步，和我們預(yù)想的方向產(chǎn)生細(xì)微的偏差，可能只是一個“腦洞”，這樣的“腦洞”會隨著思維鏈一步一步向前串行地去擴(kuò)張，就會導(dǎo)致它越來越偏離原始(目標(biāo))。這就是大語言模型產(chǎn)生“幻覺”的原因。

全國政協(xié)委員王亮指出，人工智能存在“幻覺”現(xiàn)象，就是人工智能系統(tǒng)可能會產(chǎn)生或者是輸出一些與物理真實(shí)世界不符或有誤導(dǎo)性的結(jié)果。

為了減少“幻覺”的產(chǎn)生，可以從幾個層面去做，首先從算法技術(shù)的角度去加以改進(jìn)或提升，比如設(shè)計更穩(wěn)定更魯棒(魯棒性是指系統(tǒng)在面對外部干擾或數(shù)據(jù)異常時，仍能保持可靠性和穩(wěn)定性的能力)的算法，實(shí)現(xiàn)更加優(yōu)化的模型架構(gòu)等;另外，可以從數(shù)據(jù)的角度盡可能提供高質(zhì)量、沒有偏差的數(shù)據(jù)，以減少數(shù)據(jù)偏差所帶來的“幻覺”問題。

“AI幻覺”是一把雙刃劍

周鴻祎建議：柔性監(jiān)管、適度包容

全國政協(xié)委員、360集團(tuán)創(chuàng)始人周鴻祎也帶來了聚焦大模型安全和AI幻覺的建議。他認(rèn)為，以DeepSeek為代表的大模型取得了“國運(yùn)級科技成果”，不僅促進(jìn)了大模型技術(shù)自主創(chuàng)新，也帶動了上下游產(chǎn)業(yè)協(xié)同發(fā)展，還讓大模型加速走進(jìn)百行千業(yè)，成為推動中國科技進(jìn)步、經(jīng)濟(jì)增長和國家強(qiáng)盛的關(guān)鍵力量。但包括DeepSeek在內(nèi)的大模型都存在“幻覺”，偶爾會生成看似不合理、與事實(shí)不符的情況。

“AI幻覺”是一把雙刃劍，是大模型與生俱來的特點(diǎn)，不可消除。“幻覺”也決定其創(chuàng)造力和想象力，對于實(shí)現(xiàn)AGI(通用人工智能)極其重要。如果大模型沒有“幻覺”，就失去了想象力和創(chuàng)造力。

周鴻祎表示，越是能力強(qiáng)的模型，一般“幻覺”就越多。在科研領(lǐng)域，大模型的“幻覺”能“想象”新藥分子結(jié)構(gòu)、蛋白質(zhì)的結(jié)構(gòu)等，為新研究指引方向。在醫(yī)療、法律、金融等對準(zhǔn)確性要求高的領(lǐng)域，“幻覺”雖然可能出錯，但可以利用技術(shù)手段，如RAG(檢索增強(qiáng)生成)技術(shù)，通過比對專業(yè)知識庫、網(wǎng)絡(luò)實(shí)時信息等方式予以矯正。

回顧過去30年，我國法律法規(guī)吸納了“避風(fēng)港原則”，讓企業(yè)敢于投入創(chuàng)新，帶來了互聯(lián)網(wǎng)行業(yè)的繁榮，也為后來的“互聯(lián)網(wǎng)+”、如今的“人工智能+”提供了技術(shù)、產(chǎn)業(yè)和人才支撐。

周鴻祎建議，借鑒吸納“避風(fēng)港原則”取得的成功經(jīng)驗，對大模型以及相關(guān)產(chǎn)品和服務(wù)實(shí)施柔性監(jiān)管，適度包容大模型的“幻覺”，避免直接關(guān)停下架，給予企業(yè)自我糾正的機(jī)會，促進(jìn)企業(yè)大膽創(chuàng)新、放手競爭，爭取讓更多企業(yè)“復(fù)制”DeepSeek的成功。

機(jī)器人何時能給我們打工?

隨著科學(xué)技術(shù)的飛速發(fā)展，現(xiàn)在機(jī)器人越來越智能，有網(wǎng)友提問：“機(jī)器人什么時候能為我們打工?”事實(shí)上，這一場景已逐漸成為現(xiàn)實(shí)。最近人形機(jī)器人已經(jīng)開始“排隊”去工廠打工了。

近日，杭州市余杭區(qū)迎來多位“AI公務(wù)員”的正式上崗。首個亮相的“AI公務(wù)員”叫“AI PPT”，顧名思義是PPT制作高手。

在演示中，阿里巴巴釘釘政務(wù)行業(yè)高級專家泮玲展示了其強(qiáng)大功能：只需導(dǎo)入一份工作總結(jié)報告，系統(tǒng)便能在30秒內(nèi)提煉出大綱，并在1分鐘內(nèi)一鍵生成一份精美的PPT。余杭區(qū)林水局工作人員小劉對此贊不絕口：“過去制作一份PPT往往需要一至兩天，如今幾分鐘就能完成，而且生成的PPT文字提煉精準(zhǔn)，排版獨(dú)具余杭特色，大大節(jié)省了時間和精力。”

目前，“AI PPT”已在全區(qū)廣泛應(yīng)用，日均生成PPT超130份，累計訪問量突破1000次。

圖源：余杭區(qū)數(shù)據(jù)資源管理局大數(shù)據(jù)服務(wù)中心

“AI PPT”只是余杭區(qū)“超級智能體”——“AI余杭”的一個縮影。作為余杭區(qū)與阿里巴巴釘釘攜手打造的人工智能平臺，“AI余杭”具備復(fù)雜工作流調(diào)度、開放集成和自我進(jìn)化能力，并與移動辦公應(yīng)用“浙政釘”系統(tǒng)深度融合。各部門不僅能依據(jù)自身業(yè)務(wù)需求快速定制專屬“AI公務(wù)員”，還能協(xié)同開展工作，形成高效能團(tuán)隊。

“我們希望通過AI賦能，為基層減負(fù)，讓工作人員有更多時間和精力開展創(chuàng)新工作，更好地服務(wù)企業(yè)與社會?！庇嗪紖^(qū)數(shù)據(jù)資源管理局大數(shù)據(jù)服務(wù)中心主任龍為超表示。

據(jù)悉，“AI余杭”還集成了當(dāng)下熱門的DeepSeek和通義系列模型，形成“雙引擎”驅(qū)動模式，使模型能力更加多元化。除了“AI PPT”，目前還有智能咨詢、反詐助手等5個“AI公務(wù)員”上線，日均使用量超1000人次。未來，余杭區(qū)將在更多政務(wù)應(yīng)用領(lǐng)域孵化新的“AI公務(wù)員”，它們將24小時在線，隨時處理各類業(yè)務(wù)，為政府履職提供全方位支撐。