Google 發表「全能」AI 遊戲助理 SIMA：能跨越不同遊戲適應 3D 環境理解自然語言指令，協助完成遊戲任務

Google 的 AI 研究團隊希望大家可以把勝負與拚高分先放在一邊，認為對應目前大型語言模型的發展，似乎將這樣的 AI 運用在遊戲的環境中也是個不錯的主意。繼續閱讀 Google 發表「全能」AI 遊戲助理 SIMA：能跨越不同遊戲適應 3D 環境理解自然語言指令，協助完成遊戲任務報導內文。

▲圖片來源：Google

Google 發表「全能」AI 遊戲助理 SIMA：能跨越不同遊戲適應 3D 環境理解自然語言指令，協助完成遊戲任務

如果你擔心 AI 會如同電影情節那般的搞爆現實世界的話，也許讓他們待在虛擬環境之中會是個不錯的緩衝發展方式？

在能夠持續跟人類聊天不嫌煩的生成式 AI 突然爆紅造成的各種「失業」與「毀滅工作」的擔憂前。其實 AI 在遊戲領域慘電人類已經不是什麼新聞了。而 Google DeepMind 團隊更是早已有許多把 AI 運用在遊戲環境的研究。

現在，Google 的 AI 研究團隊希望大家可以把勝負與拚高分先放在一邊（AI 表示：想要玩遊戲嗎？）。認為對應目前大型語言模型的發展，似乎將這種更善解人意的 AI 運用在遊戲的環境中也是個不錯的主意。

▲圖片來源：Bloc

其實在 ChatGPT 所帶起的聊天機器人大流行的初期，就已經有看到遊戲開發商將這樣的技術用在 NPC 之上。不過 Google 這次在 Scalable Instructable Multiworld Agent 研究中所揭露，簡稱為 SIMA 的遊戲助理。則是在融入了預先訓練視覺模型，並可支援執行滑鼠鍵盤操作的能力後，不僅能理解語意與畫面，更能運算預測畫面中接下來可能發生的情況來做出對應的電腦操作。

這種已經超出跟你聊天的範疇，直接讓你出一張嘴要他工作的遊戲輔助功能，基本上要稱他為全能的遊戲助理，或甚至是外掛作弊功能好像都並不為過 – 雖然不免會這樣想，但在這裡還是要重申一遍，DeepMind 團隊強調這項研究的目的並非在此。甚至，還有反過來對於 AI 有益處的發展方向 – 有一種魚幫水、水幫魚的概念。

This work isnt about achieving high game scores.（這項研究並非要追求遊戲的高得分）

▲圖片來源：Google

從名稱來看，SIMA 助理具備的「可擴展、能接受指令與多重世界」能耐。基本上就是可以透過自然語言來命令 SIMA，執行遊戲中的動作甚至是任務 – 官方還提到，相對於單純的動作指令，接下來更進階的目標是希望能夠執行「尋找資源並建立營地」這樣結合多重動作與任務的複雜指令。

▲圖片來源：Google

雖然光是目前支援開啟地圖、與物件互動的爬梯子、左轉，甚至是「前往太空船」與「射擊隕石」等操作就已經感覺很威了。不過個人覺得 SIMA 最猛的地方是在於能不需要仰賴遊戲原始碼或是 API，僅透過對遊戲畫面的分析就能以鍵盤滑鼠的操作來執行遊戲任務了。

更可怕的是，SIMA 還能橫跨支援多個遊戲裡的世界。開發團隊在文章中分享，先前光是能以類似方式來對應單一遊戲，這對於 AI 技術來說就已經是壯舉。由此可見，這項技術真的堪稱是全面展現 Google AI 技術戰力的一項研究。

▲圖片來源：Google

DeepMind 開發團隊選擇與多方遊戲開發者合作，從原本對應單一遊戲的 AI 功能，發展到可以跨越多款遊戲，而且還是能夠延展到 3D 遊戲中的通用型 AI 遊戲助理。SIMA 能夠廣泛理解遊戲世界的環境，並能以自然語言指令來執行遊戲任務 – 就如同人類那樣。

有意思的是，訓練這樣的全能遊戲助理還真的有參考「人是怎樣訓練另一個人」來達成。

官方分享 SIMA 的訓練過程中包含錄製玩家透過語言指導另一位玩家的情況來讓 AI 學習的程序；為了要讓 AI 先具備能夠對應每個新的遊戲世界的探索能力，DeepMind 與 Unity 合作打造一個名為 Construction Lab 的環境，藉此協助 AI 透過基本的堆積木等方式從頭學習，如何與分析影像以及與此世界進行互動。

SIMA 不僅需要針對每個新的（遊戲）世界學習，從最簡單的選單功能操作到像是採集資源、製作裝備甚至是駕駛遊戲中載具的各種技能。還需要能將這些技能與自然語言相關聯 – 不然就不能用口語命令它了。

▲圖片來源：Google

不得不說，SIMA 的訓練過程真的是超乎想像的複雜。但根據官方的說法，SIMA 目前已經學習了包括《無人深空（No Mans Sky）》、《Teardown》與《模擬山羊 3（ Goat Simulator 3）》等橫跨 9 款 3D 遊戲，能執行超過 600 項（限制在 10 秒內）的基本技能。並且都能夠達到超越專為單一遊戲訓練的遊戲助理的表現。

對應接下來希望能執行偏向於一般理解的「遊戲任務」的進階發展方向來看。相信大家都會猜測 Google 的最終目標應該並不僅止於協助遊戲進行的 AI 助理的發展而已 – 妙的是，官方還真的透露了這方面發展的方向。

AI 幫遊戲，遊戲幫 AI

由才華洋溢的開發者所創造的遊戲世界，可以是所有玩家的遊樂場，而這些遊戲對於 AI 而言，也可以是他們的遊樂場。

DeepMind 在研究的發表報告中不吝嗇提到，SIMA 其實不僅能協助玩家遊玩。更是想讓遊戲成為 AI 技術的試驗沙盒，驗證這種途徑能可於人工智慧系統的實用性帶來多大的幫助。更期望有機會能轉化 AI 模型在遊戲中所獲得的「真 · 經驗值」用於真實世界場景的發展。

▲圖片來源：Google

個人認為，雖然遊戲環境裡的物理環境等各方面條件可能遠不及於現實環境的細節。但這樣的特性，搞不好更適合作為 AI 在登上真實世界之前的前哨站？透過 Google 提到的沙盒的概念，至少在真正來到現實生活中的沙盒（相信在實際應用前也會有個類似封閉領域的場域啦）前，能夠讓 AI 在遊戲這類虛擬環境中不斷重複的驗證其技術。

一方面不會讓 AI 一次就挑戰太過複雜的環境，另一方面則是也可以相當程度的確保系統的穩定度？至少，在遊戲有相處過了，人類也比較不會這麼 見外 排斥在現實生活中遇到「它」囉。

不知道大家會不會很期待 Google SIMA 的技術從研究中，真的實際應用在遊戲裡。有期待什麼樣的功能嗎？還是覺得凡事還是要自己來比較有樂趣呢？可以跟我們分享一下自己的想法啊！

引用來源｜經由｜

延伸閱讀：

Intel 秀 AI 肌肉在三創舉辦《AI PC創作新世代》活動，攜手夥伴展現 Intel Core Ultra 無限可能