GeminiがアプリをAI操作——ベータ機能「タスク自動化」を実機で5日間テスト
GoogleのAIアシスタント「Gemini」に、スマートフォンアプリを自律的に操作する新機能「タスク自動化（Task Automation）」が追加された。現在はPixel 10 ProとSamsung Galaxy S26 Ultraを対象にベータ提供中で、UberやUber Eats、DoorDashなど一部のライドシェア・フードデリバリーサービスに対応している。
The Vergeのシニアレビュアー、アリソン・ジョンソン氏が5日間にわたって実機テストを行ったレポートが公開された。その評価は「遅くて不格好、でも圧倒的に印象的」という一言に集約される。
実際に使うとどうなる？
ユーザーがGeminiに「夕食を注文して」と指示すると、GeminiはUber Eatsなどのアプリを自動で起動・操作し、メニュー選択から注文確認画面まで進める。画面下部にはGeminiが何をしているかを示すテキストが表示され、「チキンテリヤキコンボの2ポーション目を選択中」といった状態をリアルタイムで確認できる。
注目すべきは、Geminiがアプリの文脈を動的に解釈する能力だ。注文時にメニューが「ハーフポーション単位」でしか選べない構成だったとき、Geminiは自動的に2つのハーフを選んで1人前を構成した。一方、画面上に明確に表示されていた「グリーンズ（野菜）」のサイドメニューを見つけるのに手間取るなど、AIらしい不自然なつまずき方もある。
今回のテストでは、夕食の注文完了まで約9分かかった。ユーザーが自分で操作すれば1〜2分で済む作業だが、これはバックグラウンドで動作しながら他の作業と並行できることを前提に設計されている。
安全設計：最後の確認は人間が行う
この機能の重要な設計思想として、Geminiは「確認・決済」の最終ステップを自動実行しない。注文内容をユーザーに確認させてから完了させる仕組みだ。テスト中にGeminiが勝手に注文を完了させてしまうケースはなかったという。
失敗するケースも見られたが、そのほとんどは開始後1〜2分以内。位置情報の許可を求められたり、配達先が以前使ったアメリカの住所のままになっていたりといった、アプリ側の初期状態に起因するものが多かった。
日本市場への示唆
現時点での対応サービスはUber系とDoorDashに限られており、日本国内で主流の出前館やmenuには未対応。また提供端末もPixel 10 ProとGalaxy S26 Ultraに限定されている。
ただし、この技術的アプローチは業界全体に影響を与える可能性がある。AppleのSiriやサムスンのGalaxy AI、そして国内スマートフォン向けAI機能の方向性にも波及することが予想される。
ジョンソン氏は「基調講演でも管理されたデモでもなく、実際のスマートフォンで本物のAIアシスタントが動作するのを初めて見た」と評価する。まだ実用的とは言えないが、AIエージェントがスマートフォン操作を代替する未来の最初の実装として、注目に値する機能だ。