概要
SSSTalk（エスエスエス・トーク）は、カメラに手話をかざすと、その単語を文字で表示し、音声で読み上げるアプリです。 このページでは、できること・対応環境・使い方・しくみ・いまの「現在地」をご紹介します。
できること
-
文字と声で伝える
認識した単語を画面に表示し、音声でも読み上げます。相手が手話を知らなくても伝わります。
-
連続で認識する
「自動モード」に切り替えると、止めるまで続けて認識。認識した単語が会話のように並びます。
-
手話を練習する
練習モードでは、お題の単語に対して自分の手話が正しく認識されるかを、その場で採点して確かめられます。
いま対応している手話
-
JSL｜日本手話
日本のろう者コミュニティで使われている手話言語。
-
HKSL｜香港手話
香港のろう者コミュニティで使われている手話言語。
- 143単語 認識できる単語
- 41,302 お手本データ
- 2言語 設定で「すべて／JSL／HKSL」を選択
あいさつ・食べ物・場所・気持ちなど、日常でよく使う単語からスタートしています。 語彙は、手話言語データトレーナーの皆さまと一緒に増やしていきます。
対応環境
カメラの付いた端末と、インターネット接続が必要です。
| 端末 | 対応 |
|---|---|
| iPhone / iPad | Safari（最新版）。ホーム画面に追加すると、アプリのように起動できます。 |
| Android | Chrome（最新版）。ホーム画面に追加できます。 |
| パソコン | Chrome / Edge / Safari の最新版。内蔵カメラまたは外付けカメラが必要です。 |
アプリのインストールは不要です。はじめて開いたときに、ブラウザからカメラの使用許可を求められますので「許可」を選んでください。
使い方の流れ
-
アプリをひらく
ブラウザで アプリのページ を開きます。ホーム画面に追加しておくと、次からはタップだけで起動できます。
-
カメラを許可する
ブラウザの確認画面で「許可」を選びます。上半身と両手がうつる位置に端末を置いてください。
-
スタートボタンを押す
画面下の大きな丸いボタンを押すと「3・2・1」のカウントダウンが始まります。
-
カメラに向かって手話をする
約2秒の録画で認識します。いつもどおり、自然な速さと大きさで手話をしてください。
-
結果を確認する
単語が画面に表示され、音声でも読み上げられます。どのくらい自信があるか（信頼度）もあわせて表示します。
アプリの画面
-
上部バー
サーバーとの接続状態や通信品質がひと目で分かります。
-
カメラプレビュー
自分の映り方を確認できます。左右反転や非表示もできます。
-
認識ログ
認識した単語が会話のように並びます。信頼度（自信の度合い）も表示されます。
-
スタートボタン
大きな丸ボタンで操作は1つだけ。手動／自動の切り替えもできます。
-
設定
文字の大きさ・読み上げの速さ・画面テーマなどを、好みに合わせられます。
AI はどうやって手話が分かるの？
むずかしい計算はぜんぶアプリの中。イメージはこの3つです。
-
動きを「骨格」でとらえる
映像から、体・顔・両手の位置を棒人間のような「骨格」として読み取ります。背景や服装に左右されにくい方式です。
-
お手本の辞書と見比べる
AI の中には、たくさんの人の手話の「お手本帳」があります。いまの動きと一番よく似ているお手本を探します。
-
一番似ている単語を答える
見つけたお手本の単語を答えとして表示・読み上げます。「どのくらい自信があるか（信頼度）」もあわせて示します。
だから大事なこと ——「お手本帳」が充実するほど、AI はかしこくなります。
いまできること・これからのこと
いまできること
- 手話の「単語」の認識（143語）
- 文字表示と音声読み上げ
- 連続認識（自動モード）で会話のログ表示
- スマホ・パソコンのブラウザですぐ使える
- 手話練習の採点（練習モード）
- 新しい単語の収録（学習モード／トレーナー用キーが必要）
これから取り組むこと
- 文章・会話としての認識（単語をつなげる）
- 語彙の拡大（143語 → もっと多く）
- より多くの話者の手話に対応
- アプリストアでの提供（iOS アプリ）
- どこからでも使えるクラウド対応
開発中のサービスです。正直な「現在地」をお伝えしながら、一歩ずつ良くしていきます。
ご利用の前にご確認ください
認識できる範囲と注意点
- お手本帳に登録された単語のみを認識します。登録されていない単語や、文としてのつながりはまだ読み取れません。
- 手話には地域差・個人差があります。お手本と動きが大きく異なる場合、正しく認識できないことがあります。
- 暗い場所・逆光・手が画面から外れている場合は精度が下がります。明るい場所で、上半身と両手がうつるようにしてください。
- インターネット接続が必要です。通信が不安定な場所では結果の表示が遅れることがあります。
- 認識結果は誤ることがあります。医療・法務・緊急時など、正確さが求められる場面での判断材料にはしないでください。
手話言語データトレーナーの皆さまへ
データトレーナーとは、AI に手話を教える「先生」です。 皆さまが収録してくださる手話の一つひとつが AI の「お手本帳」に加わり、 SSSTalk の認識精度と語彙を直接豊かにします。
-
量 ｜ お手本が多いほど正確に
同じ単語でも、速さや大きさは毎回少しずつ違います。お手本が多いほど「ゆらぎ」に強くなります。
-
人 ｜ いろいろな人の手話で
手の大きさ・体格・くせは人それぞれ。多くの話者のデータがあるほど、誰の手話でも認識できます。
-
語 ｜ 新しい単語を教えられる
収録した単語はそのまま新しい語彙になります。現場で本当に必要な単語を増やせるのはトレーナーだけです。
収録データの扱いについて
- お手本帳に登録されるのは、体・顔・手の位置を表す骨格の数値データです。認識には映像そのものではなく、この骨格データが使われます。
- 収録データは SSSTalk の認識精度向上・語彙拡大のために使います。目的外の利用や第三者への提供は行いません。
- 「この収録分は取り消したい」などのご要望は、いつでもご連絡ください。
※ データの保管方法・同意書の詳細は、収録会の際に書面でご説明します。
ご協力いただける方、くわしい資料をご希望の方はお問い合わせからご連絡ください。