Co-G.E.I.チャレンジ2025における指文字認識研究の活動報告
- Ryota Murai
- Jun 8
- 2 min read
2025年度、本研究室では「Co-G.E.I.チャレンジ2025」の採択活動として、「深層学習による高精度な手話認識モデルの開発」に取り組みました。本活動は、当研究室所属の村井亮太を研究代表者とし、工学部・工学研究科の学生に加え、芸術学部映像学科の学生も参加して実施しました。
本研究の目的は、日本語の手話や指文字認識の高精度化に向けて、深層学習モデルの開発と、その基盤となるデータセットの整備を進めることです。手話認識技術の発展には、十分な量と質を備えた学習用データが不可欠です。しかし、既存の公開データセットの多くはASL（アメリカ手話）など英語圏の手話表現を対象としており、日本語指文字に特化した公開データセットは限られていました。
そこで本活動では、Co-G.E.I.チャレンジ2024で収集した指文字動画を整理し、日本語指文字データセット「ub-MOJI」として公開しました。現行バージョンでは、14名から収集した948本の動画を収録しています。また、データセットをさらに充実させるため、今年度は追加撮影も行い、2026年度以降には1万本以上のデータ追加を予定しています。
技術面では、指文字認識に適した新たな時系列行動検出モデルの開発に取り組みました。指文字は動きの変化が小さく、クラス間の差異も細かいため、既存手法では予測区間が過剰に長くなったり、断片化したりする課題がありました。本研究では、微細な動作の開始時刻および終了時刻をより正確に推定するために境界推定手法を再設計し、従来手法よりも高い認識性能を達成しました。
これらの成果は、ITC-CSCC 2025、ICCV 2025 Workshop、ICEIC 2026で発表しました。また、ITC-CSCC 2025およびICEIC 2026ではBest Paper Awardを受賞し、本研究の有効性が国際的にも評価されました。
本活動では、工学分野のAI・画像認識技術と、芸術学部映像学科の学生による撮影・編集の知見を組み合わせることで、データ収集からモデル開発、成果発表までを一貫して進めることができました。今後も、ub-MOJIの拡充や認識モデルの高性能化を進めていきます。
Co-G.E.I.チャレンジについて： 複数の学生（大学院生含む）が共に参画して実施する学生の自主的・自発的・自立的な企画・研究活動を支援する東京工芸大学の取り組み。審査の結果、採択された活動には、１件につき50万円を上限として、大学から活動費用の支援が行われる。
