インタラクティブメディアデザイン研究室（IMD Lab）
情報科学領域
奈良先端科学技術大学院大学（NAIST）
NAISTメール: rahman.md_mustafizur.rp6@naist.ac.jp
個人メール: mustafizur.cd@gmail.com
履歴書（PDF） Google Scholar Researchmap ORCID LinkedIn | English
自己紹介
私は奈良先端科学技術大学院大学（NAIST）の博士後期課程に在籍しており、 人工知能（AI）、機械学習、深層学習、 XR（AR/VR/MR）を専門としています。臨床・技術現場において、 AIの理解と空間コンピューティングを組み合わせ、作業支援やリハビリテーションを支援する インテリジェントなARシステムの研究に取り組んでいます。
また、没入型コンピューティングと人間中心設計の視点から、 複雑な手順や専門的作業を直感的かつ適応的に支援するインタフェース設計を目指しています。
さらに、AIによるモーション解析・生成を通じて患者の状態をより適切に表現し、 理学療法士のトレーニングや運動回復支援に貢献することを目標としています。
ソフトウェア工学、コンピュータビジョン、インタラクティブシステム設計を組み合わせ、 人の健康と専門職支援に役立つ技術の実装と社会実装を志向しています。
お知らせ
- [2026年3月] 論文 「Generating Patient-Specific Abnormal Gait Motions for Therapists' Observational Skill Training」 が 第8回 Activity and Behavior Computing 国際会議（ABC 2026） において、 Best Position Paper Runner-Up Award を受賞しました（北海道函館市にて開催）。
- [2026年1月] 論文 「Robotic Collaborative Walker with Impedance Control and Augmented Reality for Assisted Walking and User Empowerment」 が IEEE MetroXRAINE 2025 のプロシーディングに掲載されました。 DOI: 10.1109/MetroXRAINE66377.2025.11340234
- [2025年12月] 論文 「Generating Patient-Specific Abnormal Gait Motions for Therapists' Observational Skill Training」 が 第8回 Activity and Behavior Computing 国際会議（ABC 2026） に採択されました。
- [2025年11月] 論文 「Generating Patient-Specific Abnormal Gait Motions for Therapists' Observational Skill Training」 を ABC 2026 に投稿しました。
- [2025年10月] IEEE MetroXRAINE 2025 にて発表しました（イタリア・トレント大学での研究インターンシップ期間中）。
- [2025年10月] NAIST 情報科学領域 博士後期課程に進学し、3年間のMEXT奨学金を受給しました。
- [2025年9月] NAIST 情報科学領域 修士課程を修了しました（工学修士）。
- [2025年6月] トレント大学での研究インターン期間中、関連研究が IEEE MetroXRAINE 2025 に採択されました。
- [2025年3月-5月] トレント大学（イタリア）で研究インターンシップを実施しました。 記事
- [2025年1月] 研究 「Experience Augmentation in Physical Therapy by Simulating Patient-Specific Walking Motions」 が APMAR2024 に掲載されました。
- [2024年10月] APMAR2024 に採択されました。
経歴
京都大学 | Visiting Student |
|
University of Trento | Visiting Researcher
|
|
NAIST IMD Lab | Researcher | PhD Student
|
|
Talent Pro | Team Lead - Software Quality Assurance Engineer
|
|
RealEzy（Singapore） | Software Quality Assurance Engineer
|
|
業績
査読付き学術誌論文
- [J1]
- [J2]
査読付き国際会議
- [C1] Md Mustafizur Rahman, Goshiro Yamamoto, Chang Liu, Hiroaki Ueshima, Isidro Butaslac, Taishi Sawabe, and Hirokazu Kato, "Generating Patient-Specific Abnormal Gait Motions for Therapists' Observational Skill Training" 掲載: 8th International Conference on Activity and Behavior Computing (ABC2026), 日本・北海道, 2026年3月 [採択決定・未公開]
- [C2] Mariolino De Cecco, Giandomenico Nollo, Alessandro Luchetti, Matteo Bonetto, Damiano Fruet, Muhammad Irtaza, Md Mustafizur Rahman, Ryosuke Shigeto, Isidro Butaslac, "Robotic Collaborative Walker with Impedance Control and Augmented Reality for Assisted Walking and User Empowerment" 掲載: 2025 IEEE International Conference on Metrology for eXtended Reality, Artificial Intelligence and Neural Engineering (MetroXRAINE), イタリア・アンコーナ, 2025年10月, doi: 10.1109/MetroXRAINE66377.2025.11340234
- [C3] Md Mustafizur Rahman, Goshiro Yamamoto, Chang Liu, Hiroaki Ueshima, Isidro Butaslac, Taishi Sawabe, and Hirokazu Kato, "Experience Augmentation in Physical Therapy by Simulating Patient-Specific Walking Motions" 掲載: 16th Asia-Pacific Workshop on Mixed and Augmented Reality (APMAR 2024), 日本・京都, 2024年11月, vol. 3907 論文リンク
- [C4] Md. Mustafizur Rahman, Md Fatin Ishmam, Md. Tanvir Hossain, Md. Emdadul Haque, "Virtual Reality Based Medical Training Simulator and Robotic Operation System" 掲載: 2022 International Conference on Recent Progresses in Science, Engineering and Technology (ICRPSET), バングラデシュ・ラジシャヒ, 2022年12月, pp. 1–4, doi: 10.1109/ICRPSET57982.2022.10188546
研究
|
||
| 理学療法士の観察スキルトレーニングのための患者個別の異常歩行モーション生成 | ||
| Md Mustafizur Rahman , Goshiro Yamamoto, Chang Liu, Hiroaki Ueshima, Isidro Butaslac, Taishi Sawabe, Hirokazu Kato | ||
|
本研究は、構造化された臨床テキスト記述から 患者個別の異常歩行モーションを生成することを目的とします。 生成モデルが臨床観察を3D歩行アニメーションへ変換し、理学療法士が没入環境で 異常歩行パターンを観察・比較できるようにします。 多様で再現性の高い歩行例を提供することで、観察スキルの学習を支援します。 |
||
|
開発概要: テキストからモーションを生成するモデルと、インタラクティブな3D可視化環境を統合しました。 モデルは HumanML3D の歩行に特化したサブセットに加え、追加の臨床歩行サンプルで再学習し、 異常歩行の特徴をより表現できるようにしています。 生成されたモーションは 3D環境 で表示され、左右非対称性、動作ダイナミクス、時間的特徴を複数視点から確認できます。 |
||
|
謝辞: 本研究は JSPS KAKENHI (JP23K24888) の支援を受けました。 |
||
|
||
|
[
ABC 2026にて発表
]
[プレプリント論文]
[Best Position Paper Runner-Up Award（受賞）]
ABC 2026 Best Position Paper Runner-Up Award 第8回 Activity and Behavior Computing 国際会議（函館・日本） 
|
|
| 大規模言語モデルを活用した文脈適応・熟練度対応型ARタスク支援システム |
| 共同研究 | 指導教員: 加藤 博一 教授 | 役割: 修士研究プロジェクトの技術協力・メンター |
|
本共同研究では、大規模言語モデル（LLM）と検索拡張推論を活用し、 複雑な手順作業に対して文脈に応じたガイダンスを提供するARシステムを開発しています。 ユーザーの行動を観察し、マニュアルから検証済みの手順を検索・提示することで、 熟練度に応じたAR支援を説明可能性とリアルタイムフィードバック付きで実現します。 科学実験、医療機器のセットアップ、機械組立作業など、幅広い応用が想定されます。 |
|
開発概要: Python と Unity（C#）により実装し、クロスプラットフォームなAR/MRインタラクションのために OpenXR を採用しました。バックエンドには FastAPI を使用し、GPTベースの大規模言語モデルと 検索拡張推論を統合して文脈対応型のタスクガイダンスを実現しています。 ポーズトラッキングにより、ユーザーの行動を観察し、HMD上でリアルタイムに熟練度対応の フィードバックを提供します。 |
|
| インピーダンス制御とARを用いた協調ロボット歩行器による歩行支援とユーザエンパワメント |
|
Mariolino De Cecco*,
Giandomenico Nollo,
Alessandro Luchetti,
Matteo Bonetto,
Damiano Fruet,
Muhammad Irtaza, Md Mustafizur Rahman* , Ryosuke Shigeto, Isidro Butaslac |
|
本研究では、協調ロボット歩行器を用いた 没入型のMRリハビリテーションシステムを提案します。 Meta Quest 3 上で、療法士が現実空間に歩行経路を作成でき、 共有空間の同期により、療法士と患者が同じ環境で訓練を実施できます。 また、アバターによるフィードバックや、環境に合わせたコンテンツ配置などを統合し、訓練体験を向上させます。 |
|
開発概要: Unity (Meta Quest 3) と C# により実装しました。 ネットワーク同期には Photon Fusion、歩行器との通信には MQTT (Unity) を使用しました。 MRUK により環境理解と空間配置を行い、経路描画や可視化を統合してシステム評価を行いました。 |
| [Paper] [Demo Video] |
|
| 患者個別の歩行モーション生成による理学療法トレーニングの体験拡張 |
| Md Mustafizur Rahman, Goshiro Yamamoto, Chang Liu, Hiroaki Ueshima, Isidro Butaslac, Taishi Sawabe, Hirokazu Kato |
|
本研究では、テキスト記述から歩行モーションを生成し、理学療法士が患者個別の歩行を 3D環境で観察できる仕組みを提案します。 HumanML3D を活用し、複数の歩行パターンを比較可能にすることで、学習と理解の支援を狙います。 |
|
開発概要: Python と Unity (C#) により実装しました。 バックエンドには FastAPI を用い、Blender Python API によるリターゲット処理も利用しました。 生成結果は Meta Quest 3 上で可視化し、複数視点からの観察を可能にしました。 |
|
謝辞: 本研究は JSPS KAKENHI (JP23K24888) の支援を受けました。 |
| [Paper] |
|
| VR医療トレーニングシミュレータとロボット手術操作システム |
| Md Mustafizur Rahman, Md Fatin Ishmam, Md. Tanvir Hossain, Md. Emdadul Haque |
|
VR環境で人体モデルを用いた医療トレーニングを可能にし、繰り返し学習できるシステムを開発しました。 さらにロボットプラットフォームと連携し、遠隔手術操作の概念検証も行いました。 |
|
開発概要: Unity (C#) でUIと空間設計を行い、TCP/IP による映像伝送を統合しました。 マルチユーザ協調は Photon Network を使用し、Arduino によるロボット制御コマンドを JSON で送受信しました。 |
| [Paper] |
プロジェクト
|
| ARPoseTrainer: ARによる運動リハビリのリアルタイムフィードバック |
| Md Mustafizur Rahman |
|
深度センサ (Azure Kinect) により姿勢を取得し、PC側で骨格推定を行ってARデバイスへ送信します。 HoloLens などでアバター表示とスコア提示を行い、運動の正確性をリアルタイムにフィードバックします。 |
|
開発概要: C# による骨格可視化と UDP/IP 通信を実装しました。 Laravel REST API (PHP) と MySQL によりスコア保存と閲覧も可能にしています。 |
| [video | code] |
|
| Handwrite AI: 手書きノートをデジタルテキスト化するスマートOCR |
| Md Mustafizur Rahman |
|
手書き文字を画像から認識し、編集可能なデジタルテキストへ変換するOCRアプリです。 さまざまな筆跡に対応し、検索・保存・再利用を容易にします。 開発年: 2019 |
|
| 署名認証システム: 画像処理と機械学習による精度向上 |
| Md Mustafizur Rahman |
|
署名画像を解析し、真偽判定を行うシステムです。 画像処理特徴と機械学習モデルを組み合わせ、文書の改ざん防止と認証の信頼性向上を目指しました。 開発年: 2019 |
受賞・実績
| 年 | 受賞・認定 | 内容 | 国 |
|---|---|---|---|
| 2026年3月 | Best Position Paper Runner-Up Award |
Generating Patient-Specific Abnormal Gait Motions for Therapists' Observational Skill Training 第8回 Activity and Behavior Computing 国際会議（ABC 2026） |
日本 |
| 2025年-2028年 | 文部科学省（MEXT）奨学金 | NAIST 博士課程学生としての奨学金受給 | 日本 |
| 2025年3月-5月 | Erasmus+ ICM | トレント大学における国際クレジットモビリティ（ICM）交換プログラム | イタリア |
| 2023年-2025年 | 文部科学省（MEXT）奨学金 | NAIST 修士課程学生としての奨学金受給 | 日本 |
| 2023年 | Tech Genius Awards | TalentProにおいてチームリーダーとして最優秀パフォーマンスを評価 | バングラデシュ |
| 2019年 | IEEE RAS ハッカソン 準優勝 | BUET Winter School IEEE RAS ハッカソン — 「ドローンによる浸水地域マッピング」 | バングラデシュ |
| 2019年 | ロボティクス展示・競技会 準優勝 | LICT-JOBフェア プロジェクト展示 | バングラデシュ |
研修・トレーニング
| 年 | コース名 | 内容 |
|---|---|---|
| 2026年2月 | AI Engineer Core Track: LLM Engineering, RAG, QLoRA & AI Agents | 大規模言語モデル（LLM）エンジニアリングの基礎、Retrieval-Augmented Generation（RAG）パイプライン、 QLoRAによる軽量ファインチューニング、自律型AIエージェントの構築を学習（Udemy）。 [証明書を見る] |
| 2019年5月-6月 | AR・VR・MR技術研修 | VR（仮想現実）、AR（拡張現実）、MR（複合現実）の基礎、デバイス、動作原理、応用を学習。 Oculus Rift、Quest、HoloLensなどを用いた実践。 |
| 2019年1月-2月 | Arduino・ロボティクス研修 | Arduino基礎から応用、各種センサー、通信、モータ制御、IoT基礎を実践的に習得。 |
| 2019年2月-4月 | モバイルゲーム・アプリ開発研修 | モバイルゲームの設計・開発・リリースまでのプロセスを学習。 [証明書を見る] |
技術スキル
| 専門分野 | XR（AR/VR/MR）、HCI、人工知能、大規模言語モデル（LLM）、生成AI |
| 研究手法 | ユーザスタディ設計、HCI評価、SUS、統計解析、リッカート尺度分析、質的分析 |
| プログラミング | Python、C#、C/C++、Java、Bash、LaTeX |
| 機械学習・深層学習 | PyTorch、TensorFlow、scikit-learn、CNN・RNN・Transformer、学習・評価・最適化 |
| LLM・生成AI | プロンプトエンジニアリング、Retrieval-Augmented Generation（RAG）、軽量ファインチューニング（LoRA/PEFT）、 推論パイプライン |
| XR・3D | Unity（Quest/HoloLens）、Blender Python API、Kinect、シーン理解とインタラクション |
| API・バックエンド | FastAPI、REST、WebSocket、MQTT |
| 開発環境・ツール | Docker、Git、GitHub/GitFlow、Linux/Unix、Jira |
| Web技術 | HTML、CSS、JavaScript、PHP/Laravel（基礎） |
| データベース | PostgreSQL、MySQL |
| テスト・品質保証 | Selenium、Appium、Postman、JMeter、pytest/JUnit |