最近，AI領域裡“世界模型”這個詞越來越火，各大科技巨頭紛紛入局，像是谷歌釋出Genie 3，崑崙萬維推出Matrix-Game 2.0，騰訊開源這世界模型到底是啥？為啥科技大廠們都對它趨之若鶩？它和我們熟悉的ChatGPT又有啥區別？彆著急，接下來就用最通俗易懂的大白話，結合大家熟知的例子，帶你徹底搞懂世界模型。
一、先搞懂：世界模型是啥？和普通AI模型有啥不一樣？
（一）世界模型：讓AI“看懂”真實世界
簡單來說，世界模型是一種能讓AI理解和模擬真實世界的模型。以往的AI模型，像影象識別模型只能分辨圖片裡有甚麼，語言模型只能處理文字資訊。但世界模型不一樣，它能把視覺、語言、動作等多種資訊融合在一起，形成對世界的整體認知，還能預測未來可能發生的事。
舉個例子，你看到一個小孩在玩皮球，皮球滾到桌子下面。我們人類不用看也知道，皮球還在桌子下面，不會憑空消失。這是因為我們大腦裡有一個“世界模型”，能理解物體的運動規律和空間關係。而普通AI如果只看到皮球滾到桌子下這一幀畫面，它很難理解皮球去了哪，因為它沒有對世界的整體認知。但有了世界模型的AI，就能像人一樣“腦補”出皮球在桌子下的畫面，還能預測如果小孩去桌子下找皮球，會發生甚麼。
（二）和ChatGPT這類語言模型的區別
我們熟悉的ChatGPT屬於大語言模型，主要處理文字資訊。它能根據你輸入的文字，生成相關的回答，比如你問它“明天天氣怎麼樣”，它能根據資料和演算法給出答案。但ChatGPT沒有對真實世界的感知和理解，它不知道天氣變化會對現實生活有甚麼影響，也無法和真實世界進行互動。
而世界模型更像是一個“智慧模擬器”，它不僅能理解語言，還能理解影象、聲音等資訊，能在虛擬環境裡模擬真實世界的物理規律和變化。比如你給世界模型輸入一張房間的圖片，再告訴它“把椅子搬到窗戶邊”，它能模擬出椅子移動後的房間畫面，還能考慮到椅子移動時會不會撞到其他東西，這是ChatGPT這類語言模型做不到的。
（三）世界模型的起源：從心理學猜想開始
世界模型的概念最早源於心理學對“人腦如何表徵外部現實”的猜想。1943年，蘇格蘭心理學家Kenneth Craik提出“腦內小尺度模型”假設，認為生物體若能在大腦裡攜帶外部現實的簡化副本，就可先“腦內試錯”，再輸出行動。這就好比我們在做一件事之前，會先在腦海裡想一下可能的結果，再決定怎麼做。
後來，經過認知科學、機器人學與強化學習的交叉演化，世界模型逐漸發展起來。2018年，“World Models”論文的發表，標誌著世界模型概念正式被深度學習社群採納。從那以後，世界模型在AI領域不斷髮展，成為實現通用人工智慧（AGI）的重要路徑之一。
二、世界模型能幹啥？這些應用場景和我們息息相關
（一）遊戲領域：打造“無限可能”的開放世界
在遊戲裡，世界模型能讓遊戲場景更加真實、動態，玩家的每一個動作都能實時影響遊戲世界。比如，你在玩一款開放世界遊戲，當你走進一片森林，以往的遊戲可能是提前設定好森林裡的場景和物品。但有了世界模型，森林裡的樹木會根據你的靠近產生光影變化，小動物會因為你的腳步聲而逃竄，甚至天氣也會隨著時間和你的行動實時變化。
崑崙萬維的Matrix-Game 2.0在這方面就表現出色。它是一款互動式世界模型，引數量僅有，能跑在單塊GPU上。你只需上傳一張靜態圖片，它就能基於該影象載入並生成一個虛擬世界。玩家可以透過方向鍵或WASD鍵控制人物在虛擬世界中的移動，且每一次人物的移動都會實時影響環境，並生成新的影片內容。像丟給它一張3A大作《荒野大鏢客》的遊戲畫面，它能模擬出非常細膩的自然景觀，河流蜿蜒流淌，還能模擬出流水的動態效果，大大增加了遊戲的真實感與沉浸感。
（二）自動駕駛：提前“預判”複雜路況
自動駕駛汽車需要應對各種複雜路況，世界模型能幫助它提前“預判”可能出現的危險，做出更安全的決策。比如，當自動駕駛汽車遇到前方突然變道的車輛時，世界模型可以根據車輛的速度、距離以及周圍環境資訊，預測出可能的碰撞風險，並及時調整車速和行駛方向。
華為雲的盤古世界模型在自動駕駛領域就有應用。輸入首幀的行車場景，再加上行車控制資訊和路網資料，它就可以生成每路攝像頭的行車影片和鐳射雷達的點雲，生成的影片與鐳射點雲可以達到畫素級的匹配。這就能夠為智慧駕駛生成大量的訓練資料，從而不依賴於高成本的路採。並且它的生成能力可以達到30幀每秒的影片續寫，已經應用到自動駕駛的軟體模擬和硬體模擬的環境中，根據行車控制資訊就可以實時生成左超車、右超車、剎車等不同駕駛行為的續寫影片，供智慧駕駛系統來訓練。
（三）機器人領域：讓機器人更“智慧”地行動
機器人在執行任務時，需要理解周圍環境並做出合理的動作。世界模型可以讓機器人在虛擬環境中進行“試錯學習”，提高在真實環境中的行動能力。比如，一個機器人要在雜亂的房間裡尋找特定物品，有了世界模型，它可以先在虛擬環境裡模擬尋找的過程，預測可能遇到的障礙和問題，再在真實環境中更高效地完成任務。
谷歌的Genie 3世界模型可以生成各種可控制動作、可玩的3D環境，還可以用於訓練和評估具身agent。它能快速為AI agent建立豐富多樣的環境，從而生成agent在訓練期間未見過的評估任務。比如，Google DeepMind與遊戲開發商合作開發的SIMA agent，被設計成透過遵循自然語言指令來完成一系列3D遊戲世界中的任務，就可以在Genie 2合成的、未見過的環境執行指令，透過在虛擬環境中的訓練，提升在真實世界中的行動能力。
（四）影視與元宇宙：提升內容創作效率
在影視製作和元宇宙場景搭建中，世界模型可以快速生成大規模動態場景，節省大量的人力和時間成本。比如，製作一部科幻電影，導演可以用世界模型快速生成外星世界的場景，包括地形、氣候、生物等，而且這些場景可以根據劇情和角色的行動實時變化。在元宇宙中，使用者也可以透過世界模型建立屬於自己的個性化虛擬空間，實現更豐富的互動體驗。
三、深入剖析：世界模型的技術原理是怎樣的？
（一）多模態資料融合：讓AI“全方位”感知世界
世界模型的核心之一是多模態資料融合，也就是把視覺、語言、音訊、動作等多種資料整合在一起。比如，當我們看到一個人在說話，我們不僅能看到他的動作和表情（視覺資訊），還能聽到他說的話（音訊資訊），然後理解他的意圖（語言資訊）。世界模型也需要具備這樣的能力，將不同模態的資料轉化為統一的表示形式，讓AI能夠從多個角度理解世界。
以騰訊的混元3D世界模型為例，它引入了“世界一致影片擴散”與“長距離世界探索”兩大核心機制，從一段文字、一張圖生成一個初始場景，再根據使用者設定的相機軌跡拓展新視角內容。這裡就融合了文字和影象兩種模態的資料，透過對這些資料的處理和融合，生成更加真實、連貫的虛擬場景。
（二）模擬與預測：在“腦海”中推演未來
世界模型還能夠模擬世界的動態變化，並預測未來可能發生的事情。它透過學習大量的歷史資料，掌握世界的執行規律，然後在面對新的情況時，能夠在虛擬環境中模擬不同的行動方案，並預測每種方案可能產生的結果。
比如，在自動駕駛場景中，世界模型可以根據當前車輛的速度、位置、周圍車輛的狀態等資訊，模擬未來幾秒鐘內可能出現的情況，如前方車輛突然剎車、行人突然橫穿馬路等，並提前規劃出應對策略。谷歌的Genie 3就可以生成長達數分鐘的一致世界，能夠模擬各種物體的相互作用、角色動畫、物理規律等，實現實時互動和高度一致化的生成，讓使用者在其中的行動能夠得到合理的反饋和預測。
（三）強化學習：在“試錯”中不斷最佳化
強化學習是世界模型訓練過程中的重要方法。簡單來說，強化學習就是讓AI在虛擬環境中不斷嘗試不同的行動，根據行動產生的結果獲得獎勵或懲罰，從而逐漸學會最優的行動策略。
比如，一個機器人要學會在複雜環境中行走，它可以在世界模型構建的虛擬環境中不斷嘗試不同的步伐和方向。如果它成功避開了障礙物併到達了目標地點，就會得到獎勵；如果它撞到了障礙物，就會受到懲罰。透過不斷地試錯和學習，機器人就能逐漸掌握在該環境中行走的最佳策略，然後將這些策略應用到真實環境中。
四、行業現狀：大廠紛紛佈局，競爭激烈
（一）谷歌：Genie系列引領世界模型發展
谷歌在世界模型領域一直處於領先地位，其釋出的Genie系列世界模型備受關注。Genie 2能生成各種可控制動作、可玩的3D環境，還可以用於訓練和評估具身agent，只要給一張提示影象，它就能按照文字提示生成對應的互動式虛擬世界，無論是人類還是AI agent都可以在其中探索和互動。
而Genie 3更是實現了實時互動、高度一致化的生成，直接從“遊戲畫面”邁入“真實世界”的程度。它能維持數分鐘的生成一致性，還能做到實時響應，使用者可以以每秒24幀的速度實時瀏覽生成的動態世界，並在720p的解析度下保持幾分鐘的一致性。Genie 3支援可提示事件，使用者可以在生成的世界中新增新的事件，比如另一個人或交通工具，甚至是完全意想不到的東西，為世界模型的應用拓展了更多可能性。
（二）崑崙萬維：開源Matrix-Game系列，推動行業發展
崑崙萬維在世界模型領域也有重要成果，其開源的Matrix-Game系列模型為行業發展做出了貢獻 2.0是業內首個在通用場景上實現實時長序列、互動式生成的世界模型開源方案，引數量僅有，能跑在單塊GPU上，生成的虛擬環境幀率能達到25FPS，使用者可以用鍵盤WASD按鍵進行實時的自由移動和視角控制，實現持續時長達分鐘級的互動。
它徹底擺脫了此前依賴語言提示的生成模式，專注於透過視覺理解和物理規律學習來構建虛擬世界。透過少步驟自回歸擴散演算法實時生成長影片，引入了一個專為實時模擬和互動設計的高效框架，同時應對解決了效率和可控性的挑戰，為遊戲開發者和玩家提供了全新的可能性，也讓更多人能夠基於其開原始碼進行研究和創新。
（三）騰訊：混元3D世界模型，提升空間理解能力
騰訊混元團隊正式開源其 1.0世界模型的擴充套件模型“”。根據WorldScore排行榜，Voyager在當前主流世界模型中平均成績位列第一。混元世界模型-Voyager架構是對混元世界模型1.0新視角內容的補全，引入了“世界一致影片擴散”與“長距離世界探索”兩大核心機制。
從靜態場景到可控漫遊，再到具備深度資訊與空間拓展，Voyager補足了混元世界模型在空間連續性上的一塊關鍵能力。它可以從一段文字、一張圖生成一個初始場景，再根據使用者設定的相機軌跡拓展新視角內容，這種“邊走邊生成”的邏輯，正在成為AI理解空間的另一種可能，為使用者帶來更加沉浸式的虛擬體驗，也在空間理解和生成方面展現出獨特的優勢。
（四）其他企業與研究機構的探索
除了上述大廠，還有許多企業和研究機構也在積極探索世界模型。在自動駕駛領域，不少車企和科技公司都在研究如何將世界模型應用到自動駕駛系統中，提高駕駛的安全性和智慧化水平。一些機器人研發團隊也在利用世界模型提升機器人的認知和行動能力，使其能夠在更復雜的環境中完成任務。學術界也在不斷深入研究世界模型的理論和演算法，為其發展提供堅實的技術支撐。
五、挑戰與展望：世界模型的未來還有哪些難題與機遇？
（一）面臨的挑戰
1. 資料覆蓋瓶頸：儘管世界模型需要大量的資料來學習世界的規律，但極端場景的資料依舊稀缺。比如在自動駕駛中，車輛失控、罕見天氣等情況的資料很難獲取。如果訓練資料中缺少這些極端場景，模型在遇到類似情況時就可能無法準確“想象”和應對。雖然可以透過模擬來補充資料，但“模擬-到-真實”的差距難以完全消除，模型在真實環境中的表現可能會受到影響。
2. 資訊表徵受限：感測器的物理限制使得模型無法獲取真正的全量物理量。例如，攝像頭的幀率、視野範圍（FOV）有限，點雲資料稀疏等，這些都會導致模型對世界的感知存在缺失。而且，對於材質、摩擦力、液體形變等隱式屬性，模型的建模仍很粗糙，難以準確模擬真實世界的物理現象。
3. 訓練與部署門檻高：訓練世界模型需要大規模無標註但多樣化的影片/感測序列，以及高算力的GPU叢集，這對企業和研究機構的硬體資源和技術實力要求很高。雖然現在出現了一些開源工具鏈，如崑崙萬維的Matrix-Game 2.0，但普通團隊仍面臨難以調通和最佳化的問題，限制了世界模型的廣泛應用和發展。
4. 評估指標缺失：目前缺乏公認的“世界模型benchmark”，也就是沒有統一的評估標準來衡量世界模型的效能。現有的畫素級均方誤差（MSE）或潛空間KL散度等指標，並不能直接反映模型生成的世界是否符合物理一致性。這使得模型的迭代方向容易走偏，難以判斷模型是否真正在向理解和模擬真實世界的方向發展。
5. 實時性挑戰：如果要實現高解析度影片生成式預測，世界模型的幀延遲與記憶體佔用依舊是巨大的問題。在車規級晶片方面，雖然已經有一些進展，但目前剛起步，尚未真正大規模上車，無法滿足自動駕駛等對實時性要求極高的應用場景。
6. 安全與可解釋：世界模型內部的潛在狀態對人類來說是不透明的，一旦模型的“腦內想象”與真實物理偏離，就可能出現“自信但錯誤”的決策，而且很難追溯錯誤的原因。這在自動駕駛、機器人等涉及安全的領域是非常危險的，需要解決模型的可解釋性問題，讓人類能夠理解模型的決策過程。
（二）未來的機遇
1. 通用人工智慧的關鍵一步：世界模型被認為是實現通用人工智慧（AGI）的重要路徑之一。隨著技術的不斷髮展和突破，世界模型有望讓AI具備真正的常識性理解能力，能夠像人類一樣思考和行動，實現從感知到認知再到決策的全面智慧化，為AGI的實現奠定基礎。
2. 多領域融合創新：世界模型將推動遊戲、自動駕駛、機器人、影視、元宇宙等多個領域的融合創新。例如，在元宇宙中，世界模型可以為使用者提供更加真實、動態的虛擬環境，實現更加豐富的互動體驗；在影視製作中，結合世界模型和虛擬拍攝技術，可以創造出更加震撼的視覺效果；在自動駕駛和機器人領域，世界模型與物聯網、5G等技術的融合，將實現更高效、更智慧的交通和生產方式。
3. 新商業模式的誕生：世界模型的發展可能催生出新的商業模式。比如，基於世界模型的虛擬環境生成服務，可以為遊戲開發商、影視製作公司、教育機構等提供定製化的虛擬場景；為企業提供基於世界模型的智慧決策解決方案，幫助企業最佳化生產流程、降低成本、提高效率；還可能出現專門針對世界模型的訓練資料服務、模型評估服務等，形成一個完整的產業鏈。
4. 改善人類生活：從日常生活到工業生產，世界模型都有巨大的應用潛力。在智慧家居中，世界模型可以讓智慧裝置更好地理解使用者的需求和環境變化，提供更加個性化的服務；在醫療領域，世界模型可以用於模擬人體生理過程，輔助疾病診斷和治療方案的制定；在城市規劃中，世界模型可以模擬城市的發展和執行，為規劃者提供決策支援，創造更宜居、高效的城市環境。
世界模型作為AI領域的重要發展方向，雖然目前還面臨諸多挑戰，但已經展現出了巨大的潛力和應用價值。隨著技術的不斷進步和突破，相信世界模型將在未來深刻改變我們的生活和社會，開啟一個全新的智慧時代。