Appleとコロンビア大学の研究者らが、視覚障害者が仮想的に街路を探索しルートを構築するのを支援する実験的なシステム「SceneScout」を発表した。このシステムは、Apple マップの画像と、スクリーン リーダー ユーザー向けにわかりやすい説明を生成するために特別に設計された大規模な GPT-4o 言語モデルを使用します。
視覚障害者向けのAIナビゲーションを提供するneScout
従来のナビゲーターとは異なり、SceneScout は目的地を知らせるだけでなく、歩道、交差点、バス停、視覚的なランドマークなど、道路環境の詳細なテキストによる説明も提供します。システムは 2 つのモードで動作します。 1 つ目は「ルートプレビュー」で、ルート上のすべての主要ポイントの概要を事前に確認できます。 2つ目は、「公園のある閑静な住宅街」などと検索してエリアを探せる「バーチャルリサーチ」です。 SceneScout は地図をナビゲートし、建物の入り口がどこにあるかに至るまで、街のレベルで何が起こっているかを教えてくれます。これらはすべて、スクリーン リーダーに適したテキストとして表示されます。
最初の研究には視覚障害を持つ患者 10 人が参加しました。彼らの多くは、家を出ることなく街を探索する機会を高く評価しているので、自由に地域を探索できる機能は特に歓迎されます。しかし、テストの結果、説明の約 28 パーセントに誤りが含まれていました。たとえば、信号機の架空の信号や、道路上の物体に関する誤った情報などです。距離の記述の正確性の欠如や、ユーザーの身体的健康状態に関する想定についてのコメントもありました。
プロジェクトの作者は、SceneScout は完成品ではなく、研究開発段階であることを強調しています。それでも、テスト参加者は、将来的には骨伝導ヘッドホンなどのデバイスを介して、歩きながらリアルタイムでそのようなAIの説明を得られるようになることに期待を表明した。理想的には、システムは移動中に簡単なプロンプトを提供し、リクエストに応じて詳細な説明を提供できる必要があります。