カメラに映ったものを読み上げるアプリ「Seeing AI」

米Microsoftは目が不自由な人の視覚を音声で補助するiPhoneアプリ「Seeing AI」を2017年7月12日公開しました。このアプリでできるのは「ユーザーの周囲の世界をナレーションすること」です。
米国、カナダ、インド、香港、ニュージーランド、シンガポールのApp Storeからダウンロード可能です。(現時点では日本は対象外です。)

Seeing AIについて

Seeing AIの内部カメラには、7つのボタン「Short Text(短い文章)」「Person(人)」「Product(製品)」「Currency(お金)」「Document(資料)「Scene(場面)」「Handwriting(手書き)」が搭載されています。早速、アプリの詳しい内容を見てみましょう。
 

友人とその表情を認識する

22
人にカメラを向ければ、友人なら誰なのか、あるいは何歳くらいでどのような服装、表情をしているのかをナレーションで教えてくれるんです。視覚障がい者のかたにとってかなり役立ちそうですね。

テキストを読み込む

キャプ111
テキストがカメラの前面に表示されるとすぐに話します。

ドキュメント

555
印刷されたページをキャプチャするための音声ガイダンスを提供し、オリジナルの書式とともにテキストを認識します。
 
キャプチャ4

写真を撮ると、MicrosoftのAIがテキストを認識します。たとえば、レストランメニューの各項目について知りたくない場合に備えて、見出しを識別して読むことさえできます。

シーン

222
あなたの周りのシーンを説明してくれます。
この場合、「オレンジ色のフリスビーを持って公園で遊んでいる女の子」とAIが場面の状況を自分で考え、伝えてくれます。

製品

vb
オーディオビープ音を鳴らしてバーコードの位置を特定し、製品を識別するためにスキャンします。

他のアプリで画像を認識する

dss
フォトギャラリーやMail、Twitter、WhatsAppなどの他のアプリに画像を記述します。

通貨

現金で支払う際の通貨の請求書を特定します。 (こちらは近日公開)

まとめ

q
『 端末を掲げて、周囲の世界に関する情報に耳を傾けてほしい 』
バーコードで製品の情報を読み取り、人の表情も伝えてくれるこのアプリ。
初めて聞くとほとんど魔法のように思われますが、カメラを公園に向ければ、その風景の様子を教えてくれ、人物に向ければ、その人が微笑んでいるかどうかを教えてくれます。
今現在、Microsoft以外にも多数の企業がこの問題に取り組んでます。Apple、Google、Facebook、Amazonが類似のプロジェクトに取り組んでおり、これからの未来に活躍することが期待されます。
 
 
※参照 https://www.microsoft.com/ja-jp/