2025年2月4日、本学大学院工学研究科において修士論文の発表会が開催されました。
本研究室からは近藤が登壇し、これまでの研究成果について発表を行いました。発表後には、教員や学生との活発な質疑応答が交わされ、研究の意義や今後の展望についての貴重なフィードバックを得ることができました。
発表の概要は以下のとおりです。
「指の角度特徴量に基づく日本語指文字認識とその連続動作解析」
本研究では、日本語指文字認識システムの構築を目指し、手話経験者と未経験者を対象に日本語指文字のデータセットを作成し、新たな認識手法の提案を行いました。
初めに各指文字動作映像からMediaPipeのHandsモジュールを用いて手の各関節の3次元座標を取得し、関節角度を計算しました。この特徴量に加えて、Poseモジュールを用いて上半身の姿勢情報、さらにOpticalFlowを利用して映像全体の動き情報を算出し、これらの追加特徴量を加えたデータと加えないデータ用いてViT(Vision Transformer)モデルを学習させました。次に、指文字単語動作映像に対して変化点検出手法を適用し、手話動作における文字と文字の区切りを正確にセグメント化しました。このセグメント化された特徴量データに学習したViTモデルを適用し、単語全体の認識を行いました。
(詳しい内容は研究領域紹介をご覧ください。)
本発表会を通じて、これまでの研究成果を振り返るとともに、今後の発展に向けた貴重なフィードバックを得ることができました。博士前期課程を修了する近藤の今後のさらなる活躍を期待するとともに、本研究室では引き続き先端的な研究に取り組んでまいります。
今後の研究活動にもぜひご注目ください!

Comments