齊藤 剛史 (サイトウ タケシ)

SAITOH Takeshi

写真a

職名

教授

研究室住所

福岡県飯塚市川津680-4

研究分野・キーワード

読唇、視線解析、顔画像処理、画像処理、パターン認識

メールアドレス

メールアドレス

ホームページ

https://www.saitoh-lab.com/

Scopus 論文情報  
総論文数: 0  総Citation: 0  h-index: 7

Citation Countは当該年に発表した論文の被引用数

出身大学 【 表示 / 非表示

  • 1999年03月   豊橋技術科学大学   工学部   情報工学課程   卒業   日本国

出身大学院 【 表示 / 非表示

  • 2004年03月  豊橋技術科学大学  工学研究科  電子・情報工学専攻  博士課程・博士後期課程  修了  日本国

  • 2001年03月  豊橋技術科学大学  工学研究科  情報工学専攻  修士課程・博士前期課程  修了  日本国

取得学位 【 表示 / 非表示

  • 豊橋技術科学大学 -  博士(工学)  2004年03月

学内職務経歴 【 表示 / 非表示

  • 2021年01月
    -
    継続中

    九州工業大学   大学院情報工学研究院   知能情報工学研究系   教授  

  • 2019年04月
    -
    2020年12月

    九州工業大学   大学院情報工学研究院   知能情報工学研究系   准教授  

  • 2010年04月
    -
    2019年03月

    九州工業大学   大学院情報工学研究院   システム創成情報工学研究系   准教授  

学外略歴 【 表示 / 非表示

  • 2014年09月
    -
    2015年01月

    University of Oulu   客員研究員   フィンランド共和国

  • 2008年04月
    -
    2010年03月

    鳥取大学大学院工学研究科   助教   日本国

  • 2007年04月
    -
    2008年03月

    鳥取大学工学部   助教   日本国

  • 2004年05月
    -
    2007年03月

    鳥取大学工学部   助手   日本国

  • 2004年04月
     
     

    豊橋技術科学大学   研究員   日本国

所属学会・委員会 【 表示 / 非表示

  • 2008年04月
    -
    継続中
     

    米国電気電子学会(IEEE)  アメリカ合衆国

  • 2000年04月
    -
    継続中
     

    電子情報通信学会  日本国

  • 2011年10月
    -
    継続中
     

    電気学会  日本国

  • 2005年03月
    -
    継続中
     

    計測自動制御学会  日本国

  • 2018年02月
    -
    継続中
     

    精密工学会画像応用技術専門委員会  日本国

全件表示 >>

専門分野(科研費分類) 【 表示 / 非表示

  • リハビリテーション科学・福祉工学

  • 知能情報学

 

研究経歴 【 表示 / 非表示

  • 注視点推定

    研究期間: 2013年04月  -  継続中

論文 【 表示 / 非表示

  • Japanese sentence dataset for lip- reading

    Shirakata T., Saitoh T.

    Proceedings of MVA 2021 - 17th International Conference on Machine Vision Applications      2021年07月  [査読有り]

     概要を見る

    This research is about lip-reading for Japanese sentences. Research on English sentences is actively pursued due to the extensive datasets. However, a sufficient dataset for Japanese sentences has not been released. Therefore, this paper builds a Japanese sentence dataset. A Transformer model is used for the recognition task. Three recognition target levels: phoneme, mora, and vowel, are set, and recognition experiments show that they can be recognized.

    DOI Scopus

  • Multimodal Corpus Analysis of English Presentations for EFL teaching: Speech Contents, Speakers' Behavior and Gaze Points of Audience

    Miharu Fuyuno, Takeshi Saitoh

    12th International Conference on Corpus Linguistics (CILC2021)      22 - 23   2021年04月  [査読有り]

    online  2021年04月  -  2021年04月

  • Night Time Calling System by Eye Movement using Wearable Camera

    Kazuki Sakamoto, Takeshi Saitoh, Kazuyuki Itoh

    8th International Joint Symposium on Applied Engineering and Sciences (SAES2020)      2020年12月  [査読有り]

    Japan  online  2020年12月  -  2020年12月

  • Leader Identification Using Multimodal Information in Multi-party Conversations

    Shiota T., Honda K., Shimada K., Saitoh T.

    2020 International Conference on Asian Language Processing, IALP 2020      7 - 12   2020年12月  [査読有り]

     概要を見る

    It is one of the important tasks to predict a participant's role in a multi-party conversation. Many previous studies utilized only verbal or non-verbal features to construct models for the role recognition task. In this paper, we propose a model that combines verbal and non-verbal features for leader identification. We add non-verbal features and construct our prediction model with utterance, pose, facial, and prosodic features. In our experiments, we compare our model with a baseline model that is based on only utterance features. The results show the effectiveness of our multimodal approach. In addition, we improve the performance of the baseline model to add some new utterance features.

    DOI Scopus

  • 眼球運動を利用した呼び出しシステムの開発

    齊藤 剛史,坂本 一樹,伊藤 和幸,白井 誠

    地域ケアリング  ( 北隆館 )  22 ( 12 )   2020年10月  [査読有り]  [招待有り]

全件表示 >>

著書 【 表示 / 非表示

  • 回路シミュレータ「Qucs」による「電子回路」入門

    齊藤剛史 ( 単著 )

    工学社  2013年03月 ISBN: 978-4777517473

  • Computer Vision

    Indoor Mobile Robot Navigation by Center Following based on Monocular Vision ( 共著 )

    IN-TECH  2008年11月 ISBN: 978-9-5376-1921-3

口頭発表・ポスター発表等 【 表示 / 非表示

  • First Order Motion Modelを用いた特定話者認識問題タスクへの置き換えによる読唇手法の提案

    児玉 道成,齊藤 剛史

    第27回 画像センシングシンポジウム(SSII2021)  (online)  2021年06月  -  2021年06月   

  • Transformerを用いた日本語文章読唇

    白方 達也,齊藤 剛史

    第27回 画像センシングシンポジウム(SSII2021)  (online)  2021年06月  -  2021年06月   

  • 表情特徴を用いた読唇精度の向上

    白方 達也,齊藤 剛史

    第7回サイレント音声認識ワークショップ(SSRW2020)  2020年10月  -  2020年10月   

  • 3D-CNNを用いた口形認識

    中村 祐哉,齊藤 剛史,伊藤 和幸

    第7回サイレント音声認識ワークショップ(SSRW2020)  2020年10月  -  2020年10月   

  • 3D-CNNを用いた神経難病患者の口形認識に関する研究

    中村 祐哉,齊藤 剛史,伊藤 和幸

    福祉情報工学研究会  (online)  2020年10月  -  2020年10月    電子情報通信学会

全件表示 >>

工業所有権 【 表示 / 非表示

  • 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、こ れが記録された情報記録媒体

    特願 特願2019-37630  日本国

    齊藤剛史, ワラポン チンサティ

  • 文字列入力装置

    特願 2015-108708  特開 特開2016-224608  特許 6562542  日本国

    齊藤 剛史,飯沼 眞紀

  • コミュニケーション支援システム

    特願 特願2011-182594  特開 特開2013-045282  日本国

    齊藤剛史

  • ワードスポッティング読唇装置及び方法

    特願 特願2010-201629  特開 特開2012-059017  日本国

    齊藤剛史

  • 文字入力方法

    特願 特許出願2008-003472  特開 特許公開2009-169464  日本国

    齊藤剛史,小西亮介

全件表示 >>

講演 【 表示 / 非表示

  • サイレント音声認識の研究動向 ~ 読唇技術を中心として ~

    電子情報通信学会 音声研究会,福祉情報工学研究会 ( 九州工業大学(福岡) )  2017年10月20日 

  • 読唇技術のサーベイ

    計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017) ( 岐阜大学JR岐阜駅前サテライトキャンパス(岐阜) )  2017年09月02日 

  • 機械読唇技術とその応用

    第19回知能メカトロニクスワークショップ ( 高野山「宝城院」(和歌山) )  2014年07月13日 

  • 機械読唇技術

    電子情報通信学会 マルチメディア情報ハイディング・エンリッチメント研究会 ( 東京理科大学(東京) )  2014年05月16日 

  • 唇および口内領域形状に基づくトラジェクトリ特徴量による読唇

    第7回情報技術科学フォーラム イベント企画   2008年09月03日 

報道関係 【 表示 / 非表示

  • 九州工大など、読唇術向けデータセット開発 唇の動き・発話文をAI学習

    日刊工業新聞  2021年07月27日

    齊藤剛史, 森勢将雅

  • 東北家が出した「マルチモーダルDB」って要するに何だ? 本家に聞いてきた

    くろ州の歌声合成備忘録  2021年07月05日

    齊藤剛史

  • 読唇術を実現するためのデータベース作成!? 口の動きだけで言葉を認識し、違う声にする究極のバ美肉技術のための研究資金をクラウドファンディング中

    藤本健の “DTMステーション”  2020年07月12日

    齊藤剛史, 小田恭央

  • 「読唇技術」アプリを開発

    毎日新聞  2019年03月15日

    齊藤剛史

  • 開店!ウメ子食堂

    RKBラジオ  2019年03月11日

    齊藤剛史

全件表示 >>

学術関係受賞 【 表示 / 非表示

  • 第11回日本ヘルスコミュニケーション学会学術集会 優秀演題賞(ポスター部門)

    2019年09月27日   日本ヘルスコミュニケーション学会   日本国

    受賞者:  土屋 慶子, 種市 瑛, 酒井 拓磨, 中村 京太, 安部 猛, 齊藤 剛史

  • MVA2017 Best Poster Award

    2017年05月10日   International Association of Pattern Recognition (IAPR)   日本国

    受賞者:  Masaya Iwasaki, Michiko Kubokawa, Takeshi Saitoh

科研費獲得実績 【 表示 / 非表示

  • 英語映像アーカイブのマルチモーダルコーパス化と分析:言語学と工学の融合

    挑戦的萌芽研究

    研究期間:  2015年04月  -  2018年03月

    研究課題番号:  15K12416

  • 視覚障害者に対する情報確保支援のためのソフトウェアの開発

    基盤研究(C)

    研究期間:  2012年04月  -  2016年03月

    研究課題番号:  24501062

     概要を見る

    この研究の目的は,数学的な概念を扱う授業や講義において,視覚に障害を持つ学生に対して必要な情報を提供するために最適な環境を,開発予定のソフトウェアを用いて実現することである.視覚を前提としない情報の伝達を扱う場合,触覚や音声など一度に把握できる情報量が少ない伝達手段が中心となる.従って情報が形作るグラフ構造において,それぞれの情報の要素(節点)や要素間の関係(有向辺)の重要度を正確に把握することに大きな意味がある.そのために,健常者が視覚から何を得ているか,視覚障害者が触覚などからどのような情報を得る可能性があるかを解析し,より重要な情報をより分かりやすい形で伝達するための理論,ノウハウの構築を目指す.

  • 聴覚障害者のコミュニケーション支援のための読唇による会話認識インタフェースの開発

    若手研究(B)

    研究期間:  2009年04月  -  2012年03月

    研究課題番号:  21700582

     概要を見る

    本研究課題では,機械読唇を利用した聴覚障害者のコミュニケーション支援を目的として,単音や単語だけでなく会話文をリアルタイムで認識するインタフェースの開発を目指す.本研究初年度の平成21年度は以下のことに取り組んだ.

    1) 日本語25単語の発話シーンを学生10人の協力を得て撮影した.ただし,読唇をインタフェースとして利用する際,計算機性能によりカメラのフレームレートが変更する可能性がある.フレームレートが認識精度に与える影響を検討するため,撮影は一般的なカメラのフレームレートである30fpsでなく60fpsで撮影した.

    2) これまでは口唇周辺が大きく写る顔下半分の発話シーンを処理対象としていた.この場合,発話時に顔が動くと口唇領域の抽出に影響を与える.この問題を避けるため,本研究課題では顔全体が写る発話シーンを対象とした.顔検出にはViolaが提案したHaar-like特徴量による顔検出など数多くの手法が提案されているが,ここでは口唇領域抽出に用いるActive Appearance Model(AAM)を顔抽出にも利用する.顔抽出後にAAMを適用し口唇領域を抽出する.

    3) AAMにより五つの口唇領域を抽出し,これに基づき特徴量を定義する.特徴量として認識に有効なトラジェクトリ特徴量TFを用いるが,TFを構成する口唇領域の形状特徴量を変えて有効な特徴量の組み合わせを用いて認識実験を行なった.その結果,内側唇輪郭内領域の面積とアスペクト比,歯領域の面積を用いることにより94.6%の高い認識精度を得られることを確認した.

    4) 学習用データおよび認識実験用データのフレームレートを擬似的に変更し認識実験を行なった結果,両データのフレームレートの差が小さい場合,認識率はあまり影響を受けず,認識実験用データのフレームレートを大きくする方が高い認識率が得られやすいことを確認した.

    5) 研究成果は国際会議1件,国内学会2件で発表した.また国際会議および国内学会にそれぞれ1件投稿中であり,リアルタイム読唇システムに関する成果を学術論文として投稿する予定である.

  • 読唇システムを用いた「介護用電動車いす」の実用化に関する研究

    基盤研究(C)

    研究期間:  2009年04月  -  2011年03月

    研究課題番号:  21500515

     概要を見る

    本研究課題では、手動操作が困難な身障者や高齢者が「唇の動き」で操作できる次世代型「介護用電動車いす」の実用化を目指す。その場合、安全でかつ容易に操作できるだけでなく、車いすの走行がスムーズで「乗り心地」が自然であることが重要である。この目的の下、以下に研究に取り組んだ。

    1) 認識精度に関する検討:これまでは数人の発話者のみを対象とした認識実験を報告していたのに対し、10人の発話シーンを撮影して認識実験を実施した。さらに、読唇システムを利用する際に計算機スペックによりフレームレートが変わることを考慮し、撮影した発話シーンのフレームレートを擬似的に変えて認識実験を行なった。この成果は国際会議1件、国内学会2件で報告した。また国際会議および国内学会にそれぞれ1件投稿中である。

    2) 読唇システムに関する検討:前項目は事前に撮影した発話シーンに対する認識実験であったのに対し、リアルタイム読唇システムを用いて9人の被験者に対して車いす制御用14単語に対する認識実験を行なった。この成果は学術論文としてまとめ投稿する予定である。

    3) 車いすの走行制御に関する研究:学校や病院などの多くの公共施設は複数のフロアがあり、エレベータが設置されている。しかし、これまで移動ロボットに関する研究でフロア間移動について議論されていない。そこでエレベータを利用してフロア間の移動が可能なシステムを開発した。この成果は国際会議や国内会議で発表した。また、これまでのシステムでは、車いす前方に2台の超音波センサ、周囲に8個の赤外線センサをもとに車いすの走行環境を取得していた。この場合、外界センサの検知範囲の制限およびセンサの精度の問題による制限が生じていた。そこで新たなシステムとして、車いすの前方に1台のレーザーレンジファインダ(LRF)、後方に6個の赤外線センサを用いることにより車いすの周囲環境を広範囲かつ高い精度で取得できるよう改善した。またLRFを用いたSLAMを実装し、壁沿い走行を試みている。

  • 読唇システムを用いた「介護用電動車いす」の走行制御に関する研究

    基盤研究(C)

    研究期間:  2007年04月  -  2009年03月

    研究課題番号:  19500476

     概要を見る

    本課題では、手動操作が困難な身障者や高齢者が「口唇の動き」で操作できる「介護用電動車いす」の開発に取り組む。視覚情報を利用して口唇の動きをカメラ画像で認識する読唇の基盤技術、読唇処理のリアルタイム化、センサ情報を利用して障害物などを回避する走行補助に関して、アルゴリズムの開発や電動車いすシステムの実装を行った。

受託研究・共同研究実施実績 【 表示 / 非表示

  • HT30255 唇の動きを解析!読唇できる?(ひらめきときめきサイエンス)

    受託研究

    研究期間:  2018年04月  -  2018年08月

  • HT29306 唇の動きを解析!読唇できる?(ひらめきときめきサイエンス)

    受託研究

    研究期間:  2017年04月  -  2017年08月

  • HT28297 唇の動きを解析!読唇できる?(ひらめきときめきサイエンス)

    受託研究

    研究期間:  2016年04月  -  2016年08月

  • アレー型磁気センサを用いたマスク型サイレント音声インタフェースの開発

    共同研究

    研究期間:  2015年08月  -  2016年08月

  • 情報提供サービス充実の為の携帯写真で簡単便利な魚種検索機能の開発

    共同研究

    研究期間:  2015年04月  -  2016年02月

全件表示 >>

その他競争的資金獲得実績 【 表示 / 非表示

  • IoTによるアクティブシニア活躍都市基盤開発事業

    提供機関:  文部科学省 

    研究期間:  2016年11月  -  2021年03月

  • ALS患者のための顔画像処理技術を利用したコミュニケーション 支援システムの開発

    提供機関:  民間財団等 

    研究期間:  2015年09月  -  2016年02月

  • 眼鏡型カメラを用いたコミュニケーション支援機器の重度頭部・脊髄外傷患者への応用

    提供機関:  日本損保保険協会 

    研究期間:  2014年09月  -  2015年09月

  • 地域連携型の携帯端末向け樹木検索システムの研究開発

    提供機関:  地方自治体 

    研究期間:  2013年07月  -  2014年03月

その他研究活動 【 表示 / 非表示

  • シーズ・ニーズマッチング交流会2019

    2020年01月
     
     
     

  • 九州工業大学 新技術説明会

    2019年12月
     
     
     

     概要を見る

    顔画像処理を用いた音声を利用しない音声認識技術(読唇技術)の改善

  • 第21回西日本国際福祉機器展

    2019年11月
     
     
     

  • クロスヘルスEXPO2019

    2019年10月
     
     
     

  • イノベーション・ジャパン2019

    2019年08月
     
     
     

     概要を見る

    バリアフリーな会話の未来を目指して:読唇技術によるサイレント音声認識

全件表示 >>

海外研究歴 【 表示 / 非表示

  • Lip reading under pose variations

    University of Oulu  フィンランド共和国  研究期間:  2014年09月01日  -  2015年01月09日

 

担当授業科目 【 表示 / 非表示

  • 2020年度  画像工学Ⅰ

  • 2020年度  知能情報工学プロジェクト

  • 2020年度  知能情報工学特別講義

  • 2020年度  先端画像処理特論

  • 2020年度  プログラミング

全件表示 >>

担当経験のある授業科目(学外) 【 表示 / 非表示

  • 豊橋技術科学大学   情報・知能工学大学院特別講義Ⅰ(2021年度)

教育活動に関する受賞・指導学生の受賞など 【 表示 / 非表示

  • 学生奨励賞

    2020年10月   第7回サイレント音声認識ワークショップ

  • FIT奨励賞

    2020年09月   情報処理学会(第19回情報科学技術フォーラム)

  • Lectures of the Year

    2020年07月   令和1年度九州工業大学情報工学部

  • FIT奨励賞

    2017年09月   情報処理学会(第16回情報科学技術フォーラム)

  • 学生奨励賞

    2017年09月   第4回サイレント音声認識ワークショップ

全件表示 >>

その他教育活動 【 表示 / 非表示

  • 飯塚市「ものづくり体験、コンテスト出場・開催」支援事業

    2015年06月
     
     

     概要を見る

    基礎プロジェクト「九工大生と学ぶ子ども科学実験教室」における申請

  • 飯塚市「ものづくり体験、コンテスト出場・開催」支援事業

    2014年06月
     
     

     概要を見る

    基礎プロジェクト「九州工業大学の学生がおくる科学実験教室」における申請

  • 飯塚市「ものづくり体験、コンテスト出場・開催」支援事業

    2013年06月
     
     

     概要を見る

    基礎プロジェクト「九州工業大学の学生がおくる科学実験教室」における申請

  • 飯塚市「ものづくり体験、コンテスト出場・開催」支援事業

    2012年08月
     
     

     概要を見る

    基礎プロジェクト「九工大と学ぶ夏休みの科学実験教室」における申請

 

学会・委員会等活動 【 表示 / 非表示

  • 2021年07月
    -
    2021年08月

    13th International Conference on Graphics and Image Processing (ICGIP2021)   Technical Committee

  • 2021年07月
    -
    2022年03月

    動的画像処理実利用化ワークショップ2022 (DIA2022)   プログラム委員

  • 2021年05月
    -
    2021年12月

    ビジョン技術の実利用ワークショップ(ViEW2021)   プログラム委員

  • 2020年07月
    -
    2021年05月

    Quality Control by Artificial Vision (QCAV2021)   Technical Committee

  • 2020年06月
    -
    2022年06月

    電子情報通信学会福祉情報工学研究会   専門委員

全件表示 >>

社会貢献活動(講演会・出前講義等) 【 表示 / 非表示

  • 第24回九工大わくわく科学教室 挑戦!ゲームプログラミング

    2021年03月
     
     
  • AIを使った画像認識

    2021年02月
     
     
  • 技術者ってかっこよくて、わるくない ~アニメや映画にみる技術者の姿~

    2021年02月
     
     

     概要を見る

    福岡県立香椎工業高校

  • Scratchで学ぼうプログラミング

    2020年12月
     
     

     概要を見る

    大任中学校

  • 技術者ってかっこよくて、わるくない ~アニメや映画にみる技術者の姿~

    2020年11月
     
     

     概要を見る

    北九州市子ども総合センターくろさき少年支援室

全件表示 >>

 

国際会議の開催 【 表示 / 非表示

  • ACCV2016 workshop on Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)

    Taiwan  2016年11月20日  -  2016年11月20日 

その他国際交流活動 【 表示 / 非表示

  • 研究インターンシップ受け入れ

    活動期間:  2016年06月  -  2016年09月

     概要を見る

    Malaysia-Japan International Institute of Technology (MJIIT) Universiti Teknologi Malaysia
    留学生:Ahmad Nazimuddin Bin Abdul Rahman

  • 語学留学生受け入れ

    活動期間:  2016年04月  -  2016年09月

     概要を見る

    FPT大学
    留学生:Nguyen Manh Huy

  • 研究インターンシップ受け入れ

    活動期間:  2016年04月  -  2016年06月

     概要を見る

    マレーシア工科大学
    留学生:Bazli Bin Tomi

  • 研究インターンシップ受け入れ

    活動期間:  2015年06月  -  2015年07月

     概要を見る

    モンクット王工科大学ラートクラバン校
    留学生:Jittapol Sriart

  • 語学留学生受け入れ

    活動期間:  2015年04月  -  2015年08月

     概要を見る

    FPT大学
    留学生:Tuong Thi Thuy

全件表示 >>