3月13日（現地時間）、Google DeepMindはゲームプレイAIエージェント「SIMA（Scalable Instructable Multiworld Agent）」を発表しました。
Introducing SIMA: the first generalist AI agent to follow natural-language instructions in a broad range of 3D virtual environments and video games. 🕹️
It can complete tasks similar to a human, and outperforms an agent trained in just one setting. 🧵 https://t.co/qz3IxzUpto pic.twitter.com/02Q6AkW4uq
— Google DeepMind (@GoogleDeepMind) March 13, 2024
https://twitter.com/GoogleDeepMind/status/1767918515585994818
同社の説明によればSIMAは「3D仮想環境やビデオゲームで自然言語の指示に従うジェネラリストAIエージェント」で、「人間同様にタスクを完了することが可能」だということです。
SIMAは画像と言語を正確に関連付けするために設計されたモデルと、画面上で次に何が起こるかを予測するモデルで構成されています。
SIMA needs only the images provided by the 3D environment and natural-language instructions given by the user. 🖱️
With mouse and keyboard outputs, it is evaluated across 600 skills, spanning areas like navigation and object interaction – such as "turn left" or "chop down tree."… pic.twitter.com/PEPfLZv2o0
— Google DeepMind (@GoogleDeepMind) March 13, 2024
https://twitter.com/GoogleDeepMind/status/1767918519411192220
ゲームスタジオ8社と協力し、9種類のビデオゲームでSIMAのトレーニングとテストを実施。
その結果、SIMAの現バージョンはナビゲーション（左折など）、対象物との相互作用（はしごを登るなど）、メニューの使用（地図を開くなど）といった基本スキルを600個備えています。
同社では今後「リソースを見つけてキャンプを構築する」といった複雑なタスクにも取り組んでいくとしています。
※画像とソース：
https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/
