手話認識アプリ「ぽこフレ」Android・iOS版を開発、手話で入力・操作・ゲームを楽しむ新たなデジタル体験へ

ろう者の開発者が手話を日常のデジタルインターフェースへ。
「伝える・入力する・操作する・遊ぶ」を広げる無料サービスを近日提供予定

ぽこぽ合同会社（本社：埼玉県さいたま市、代表：岡本 直也）は、手話をデジタルの入力や操作に活用できるサービス「ぽこフレ（PocoFre）」のAndroid版・iOS版を開発しています。「ぽこフレ」は、スマートフォンのカメラに手話を見せることで、指文字や一部の手話表現を認識し、ひらがなや日本語として画面に表示する手話認識機能を備えたアプリです。

さらに、手話によって暮らしに役立つ機能やゲームなどを操作できる「手話ツール」を提供し、手話をコミュニケーションだけでなく、デジタルサービスを操作するための新しいインターフェースとして活用することを目指しています。

Android版・iOS版ともに現在開発を進めており、近日中の正式リリースを予定しています。

ろう者の開発者が当事者の視点から開発

「ぽこフレ」を開発するぽこぽ合同会社の代表・岡本直也自身もろう者であり、日常的に手話を使用する当事者の立場からサービスを開発しています。スマートフォンやデジタルサービスの多くは、文字入力やタップ操作、音声入力などを起点として設計されています。一方、ぽこフレでは「手話からデジタル体験を始める」という考え方を軸に、手話を使う人がより自然にデジタルサービスと関われる仕組みを目指しています。

アプリを起動してホーム画面のカメラに手話を見せると、対応している指文字や手話表現を認識し、ひらがなや日本語として画面上に表示します。

手話から「伝える・入力する・操作する・遊ぶ」へ

手話は言語です。ぽこフレはこの前提に立ち、手話を使う人と日本語を使う人をつなぐコミュニケーション手段の選択肢を提供するとともに、手話そのものをデジタルの入力・操作方法として活用できる体験を広げていきます。音声入力や文字入力から始まるデジタル体験が一般的に存在するように、手話から始まるデジタル体験も自然な選択肢の一つとして存在してよいのではないか。

ぽこフレでは、

• 伝える
• 入力する
• 操作する
• 遊ぶ

という4つの体験を軸に、「手話 × デジタル」による新しいサービスの可能性を広げていきます。

指文字や一部の手話表現をカメラで認識

ぽこフレのホーム画面では、スマートフォンのカメラを使用して手話を認識します。現在は指文字と一部の手話表現に対応しており、認識した内容をひらがなや日本語として画面上に表示できます。一方で、手話には地域や世代による表現の違いや、話者ごとの動作の個人差があります。現段階では、こうしたさまざまな表現の違いに十分対応できているわけではなく、認識可能な手話表現も限定されています。今後は「手話ツール」を通して協力を得た手話データなどを活用しながら、認識精度の向上や対応する手話表現の拡充を進めていく予定です。

カメラ映像は端末内で処理、ホーム画面では手話データを収集しない設計

プライバシーにも配慮した設計を進めています。アプリのホーム画面で利用する手話認識機能では、スマートフォンのカメラ映像を端末内で処理します。そのため、ホーム画面で撮影されたカメラ映像が外部サーバーへ送信されることはなく、この機能を通して手話データが収集されることもありません。

ただし、一部の「手話ツール」を利用した場合には、機能提供や手話認識技術の改善などを目的として、手話データが外部サーバーへ送信・収集される場合があります。

暮らしやゲームを手話で動かす「手話ツール」

ぽこフレでは、基本的な手話認識機能に加えて、「手話ツール」と呼ばれる仕組みを提供します。手話ツールでは、手話を使って暮らしに関係する機能を操作したり、ゲームを楽しんだりするなど、従来の手話認識にとどまらないさまざまなデジタル体験を提供します。現在、ぽこフレの公式サービスサイトでは、その中から3つの手話ツールをピックアップして紹介しています。今後も新しい手話ツールを順次追加し、「手話だからできること」「手話から始まる体験」を増やしていく方針です。

手話を日常のデジタルインターフェースへ

ぽこフレが目指しているのは、手話をコミュニケーションのためだけに使用するものとして捉えるのではなく、デジタル社会における一つのインターフェースとして広げていくことです。

伝える。
入力する。
操作する。
遊ぶ。

手話を起点として、スマートフォンやさまざまなデジタルサービスを利用できる環境を広げることで、手話を使う人にとって新しい選択肢となるデジタル体験をつくります。ぽこフレは「手話 × デジタル」をテーマに、アクセシビリティ技術とAI・手話認識技術を活用しながら、手話から始まる新しいデジタル体験の実現を目指します。

「ぽこフレ」サービス概要

正式リリースに向けて認識精度や安定動作を検証

正式リリースに向けて、今後は手話ツールを通して協力を得た手話データなどを活用し、手話認識の精度向上や認識可能な表現の拡充を進めます。あわせて、新しい機能やデジタル体験としての「手話ツール」も順次追加していく予定です。Android・iOS端末での使いやすさや安定動作についても検証を進め、より多くのユーザーが利用しやすいサービスを目指します。

提供開始時期、対応端末、アプリのダウンロード方法などの詳細については、決定次第、ぽこフレ公式サイトで発表します。

ぽこぽ合同会社について

ぽこぽ合同会社は、AI・アクセシビリティ技術の研究開発と、人が集まり、つながるための場所づくりに取り組む企業です。技術分野では、AIやアクセシビリティを活用した研究開発を進めており、「ぽこフレ」では手話を日常のデジタルインターフェースへ広げるためのサービス開発に取り組んでいます。

本件に関するお問い合わせ

取材・掲載・協業に関するお問い合わせは、ぽこぽ合同会社のお問い合わせフォームより受け付けています。
お問い合わせフォーム：https://pocopo.jp/#contact