この記事のポイント
- パナソニックHDとPRDCAがカリフォルニア大学ロサンゼルス校(UCLA)と共同開発し、2026年10月21日に発表した
- 操作後の画面変化を画像(ピクセル)ではなく自然言語で予測する点が従来の世界モデルと異なる
- 学習用データセット「MobileWorld」は約140万件で、画面変化の説明約94万2000件と質問・回答約54万3000件を含む
- 端末操作ベンチマークAndroidWorldのタスク成功率は、世界モデルなしの46.9%から組み込み時の54.3%へ向上した
画面の「次の状態」を文章で予測する
パナソニックホールディングス(パナソニックHD)とパナソニックR&Dカンパニーオブアメリカ(PRDCA)は2026年10月21日、カリフォルニア大学ロサンゼルス校(UCLA)の研究者らと共同で、モバイル端末上の業務をAI(人工知能)が支援する「世界モデル」を開発したと発表した。世界モデルとは、環境の状態や変化の仕組みを学習し、現在の状況と行動に応じてその後の状態を予測するモデルを指す。
従来の世界モデルは、操作後の画面を画像としてピクセル単位で再現・予測する手法が主流だった。今回の手法は「ボタンを押すと設定画面が開く」「入力欄が表示される」といった重要な状態変化だけを抜き出し、自然言語で予測する。画面全体を生成しない分、処理は軽く、予測の正誤も文章として評価できる。
約140万件のMobileWorldを構築
予測を学習させるため、チームはAndroid端末での人間の操作軌跡を基に、大規模データセット「MobileWorld」を構築した。規模は約140万件で、画面変化を説明するデータ約94万2000件と、次状態に関する質問・回答データ約54万3000件を含む。データの生成と選別には視覚言語モデル(VLM)を用い、一部は人手でも検証した。
評価用のベンチマーク「MobileWorldBench」では、このデータで追加学習したオープンソースVLM「Qwen3-VL-8B-Instruct」が、予測文の正確さ、完全さ、操作との関連性の3観点すべてで、GPT-4oなど既存手法と比べて最も高いスコアを獲得したとパナソニックHDは説明する。数値はいずれも同社の評価環境での結果だ。

タスク成功率は46.9%から54.3%へ
世界モデルをAIエージェントに組み込み、Android端末上のタスク実行を評価する「AndroidWorld」で試した結果、タスク成功率は世界モデルなしの46.9%から54.3%へ上がった。7.4ポイントの向上だが、成功率そのものは5割強にとどまる。あらゆる業務アプリで同じ効果が出ることが確かめられたわけではなく、現時点では研究段階の成果だ。
PRDCAの加藤祐介氏は、社内の業務システムは人が画面を見て項目やボタンを選び、結果を確かめて次へ進む操作の積み重ねだと説明した。AIエージェントに任せるには、操作の意味と画面の変化を都度理解させる必要があり、今回の予測技術はその土台に当たる。
適用先は製造・物流・保守の入力作業
パナソニックHDが適用先として挙げるのは、製造現場での実績や検査結果の登録、物流現場での入出庫や在庫の更新、保守現場での点検記録や報告の作成だ。いずれも複数の独自アプリケーションを横断する入力作業で、人手不足が進む現場の負担軽減を狙う。同社グループは2032年に向けた成長戦略でAIを柱の一つに掲げている。
製品やサービスとして提供される時期は示されていない。次の節目は、同社の業務プロセスへの試験導入で、研究用ベンチマークではなく実業務のアプリで成功率がどこまで出るかだ。
出典・参考資料
- パナソニックが入力画面変化を予測する世界モデル、現場作業へ応用期待 — 日経クロステック
- パナソニック、言葉で画面変化を予測--AIエージェントの操作成功率を高める「世界モデル」開発 — ZDNET Japan


