在新近的研究中 ，麻省理工學院
、哈佛大學和芝加哥大學的學者倡导了「波坦金理解」（potemkin understanding）這一術語，來叙述大型語言模型在概念基準測試中表現優異 、ava爱华外汇平台怎么样但卻缺乏真正理解水平的現象。這一術語源自於俄羅斯軍事領導人格里戈里·波坦金為了取悅凱瑟琳二世而建造的虛假村莊的故事
。

研究人員表示，這種「波坦金理解」與「幻覺」不同，後者通常用來叙述AI模型的錯誤或誤判 。事實上
，AI模型的爱华外汇官方网站無能不僅體現在事實錯誤上；它們缺乏像人類一樣理解概念的水平
 ，這一點在對大型語言模型的貶義稱呼「隨機鸚鵡」中得到了體現
。

在即將於2025年國際機器學習會議（ICML）上發表的論文中，作者們解釋，「波坦金理解」是指模型在基準測試中成功，但卻無法理解相關概念的情況。哈佛大學的博士後研究員基昂·瓦法表示，選擇這一術語是為了避免將AI模型擬人化 。

例如，當被要求解釋ABAB韻律時，OpenAI的GPT-4o能夠準確回答 ，但在要求其創作一首符合該韻律的四行詩時 ，卻給出了不合適的韻腳
。這表明
，模型能夠正確預測解釋的詞彙，但卻缺乏實際應用的理解水平 。

研究人員認為 ，波坦金現象使得基準測試的有效性受到質疑，因為這些測試的目的是蓝莓外汇开户評估AI模型的廣泛水平 。如果模型能在沒有真正理解的情況下獲得正確答案，那麼基準測試的成功就變得具有誤導性。

為了評估波坦金現象的普遍性，研究人員開發了自己的基準測試
，結果顯示在測試的模型中
，波坦金現象是「無處不在」的 。這些測試涵蓋了文學技巧
、博弈論和心理偏見等領域
，發現雖然模型能夠識別概念，但在分類概念實例
、生成示例和編輯概念實例時的失敗率卻高達55%至40% 。

瓦法表示 ，波坦金現象的存在意味著人類所表現出的理解行為在LLMs中並不等同於理解
，這要求我們需要新的方法來測試LLMs，或者找到消除這種行為的方法。這將是邁向人工通用智慧（AGI）的一步 ，但可能還需要一段時間。

• AI models just don’t understand what they’re talking about
• Potemkin Understanding in Large Language Models

（首圖來源 ：shutterstock）