NEXA Sign

手話を自然言語へリアルタイム変換し、聴覚障がい者の円滑なコミュニケーションを実現するAIソリューション。

デモ動画

世界中の多くの聴覚障がい者は、手話を知らない人々とのコミュニケーションに困難を抱えて、日常生活・学習・就業・各種サービスへのアクセスにおいて大きな障壁となっています。

現在、筆談やスマートフォン、または手動による通訳といった手段が用いられていますが、いずれも対応速度や即時性に課題があり、専門の通訳サービスはコスト面での負担が大きいのが現状です。

NEXA Signは、これらの課題を直接的に解決するために開発されました。本アプリは、手話を自然言語へリアルタイムで変換することで、聴覚障がい者の迅速かつ円滑で主体的なコミュニケーションを実現し、社会的障壁の低減と多様な環境における包摂的な共生を支援します。

NEXA Signは、トランスフォーマに基づくAIモデルを採用し、MediaPipeの姿勢および手のキーポイントを入力データとして利用します。手の動き・身体動作・表情を時系列で解析し、手話を認識した上で自然言語へと滑らかに変換します。

GPUを必要とせずエッジ端末上での実行がかのうである軽量のモデル

高速処理を実現し、高性能端末ではほぼリアルタイム、低スペック端末でも約3秒程度の遅延で動作

手話動画を自然言語へ変換し、日本手話8,000語以上のデータセットに対応

聴覚障がい者の円滑かつ主体的で自然なコミュニケーションを支援し、さまざまな場面における障壁を低減

Transformers

MediaPipe

Torch

AdamW

CosineAnnealingLR

デモのリクエストやご質問など、お気軽にお問い合わせください。