１．3Dシステム研究室 総合案内
・担当教員紹介
　曽根順治，連絡先：sone(at)t-kougei.ac.jp

HP:  http://3dwebs.photo.t-kougei.ac.jp

連携最先端技術研究センター：https://sone276.wixsite.com/jrch-main

紹介文：企業で機械設計、コンピュータ解析、3D CADの開発リーダの業務を経験している。 東京工芸大学に赴任してからは、主にバーチャルリアリティの力覚提示デバイスの開発や ゲームエンジンなどを活用した仮想空間システムの開発を進めている。また、人間の 感覚で重要となる触覚表現においても、技術を用いて触覚提示デバイスを開発しており、 の研究員を務めながら、研究や技術の発展を進めている。最近は、学習を組み込み、技術の知能化にも取り組んでいる。連携最先端技術研究センターのセンター長も務め、教育・コミュニケーションロボットの研究開発を主催している。ここでは、ロボット：の導入や、深層学習用のサーバーの導入、人間の生体情報を検知するセンサーを導入し、センター内および工芸融合の研究促進を行っている。
・研究分野
　　機械工学のロボット工学

機械工学の機械システム

情報工学のコンピュータ応用＋人工知能
・学びのフィールド
　　　専門は技術を応用したシステム開発が１つのメインテーマであり、機械システムの設計やコンピュータ解析により性能向上を図る研究を行っている。その応用がや研究開発であるシステムは、ゲームエンジンをベースとしてを活用して開発を進めており、このVRシステムはTV東京からも取材を受けた。また（微小機械電気システム）の設計開発には、やシミュレーション技術が不可欠であり、機構、電磁界、流体、音波などのマルティフィジックスが連携する解析も進めており、世の中にないデバイスの設計・開発を行っている。また、最近、発展の激しいを活用した機械学習も、VRに取り込むことも進めている。

２．曽根の研究テーマ
・概要（100文字程度）

CADやCG技術を応用したシステムVRデバイスの設計や研究開発とゲームエンジンをベースとしてC++やC#を活用してVRシステムを開発している。また、MEMS技術のVR応用や、GPUを活用した機械学習も、VRに取り込むことも進めている。
・研究テーマ（箇条書き）

VRデバイスの設計や研究開発

ゲームエンジン、C++やC#を活用したVRシステム開発

MEMS技術やマルティフィジックス解析を活用したデバイス設計・特性最適化・開発

GPUを活用した深層学習によるVRの知能化

・追加資料：動画・画像・論文 など

[1] 力覚と触覚を両方提示できるロボットの研究開発

 図１．力覚と触覚の融合　　　　　　　図２．姿勢の計測と重力の提示機構

 

 

 

 

 

 

 

図３．3本指への力覚提示機構　　　　　　　図４．遭遇型の力覚提示機構

DCサーボモーターを10個使い、力覚、その方法、提示位置変更を3本指に提示する。また、外側は8個の大型DCサーボモータ駆動により、手首の姿勢計測と重力の提示を行っている。

 

 

　図５．カーボンファイバーを使った軽量デバイス

図６．ゲームエンジンのUnityを使ったVRシステム

 

　VRシステムは、ゲームエンジンのUnityとC++,C#を使って開発し、グラフィック、干渉や物理計算、モータの制御まですべてを行う、大規模システムを開発している。

J. Sone, 他, Development of MEMS Tactile Sensation Device for Haptic Robot,

Journal of Robotics and Mechatronics, Vol.32,No.2(Apr)Special Issue on MEMS for Robotics

and Mechatronics, (2020), pp. 315-322,  doi: 10.20965/jrm.2020.p0315

　デモビデオ：

https://drive.google.com/file/d/1s3ETlea3Efh71JO19-aHL4W-1Q_Z8Fey/view?usp=sharing

[２] VRの知能化の研究

アバターによる、SLM(Small LanguageModel)を活用したVR展示における自由な対話システムを開発（個別の知識(Instruction learning)にも対応）してます。AIも作りこんでおります

　

図S1. VR空間におけるSML活用の対話システム

H. Suga, D. Fujishima, Y. Ishii, Y. Ogai, T. Nagae, D. Katagami, N. Uratani and J. Sone, Study of Natural Language Dialog System for Avatar Communication in Metaverse, The 22nd IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2023

図７．GPU深層学習を使った、VRシステム概要

図８．　表情認識　　　　　　　図9.　VR空間の表現

 

　GPUを活用して、表情認識ができる深層学習システムを開発し、それを活用して、VRシステムの知能化を行っている。これらは、PythonやOpenCVをベースとした、人工知能技術を活用したシステムである。現在、論文投稿中である。

 

［3］コミュニケーションロボットの研究

　

図１０．導入ロボットと深層学習用のGPUサーバー

 

　

図１１．色環境を使用した教育システム概要　　　　　　　　図１２．研究システム内容

 

　ロボット（Pepper）3台、深層学習用GPUサーバー、生体情報取得システムを導入し、教育・コミュニケーションロボットの研究・開発を進めている。これは、連携最先端技術研究センターのプロジェクトである。

Sone Junji, 他, Feasiblity study of psychological approach using robotics for education and communication, Global Journal of Engineering and Technology Advances, 2020, 02(01), 008-013. Article DOI: 10.30574/gjeta.2020.2.1.0001

HP: https://sone276.wixsite.com/jrch-main/blank-1

 

［４］MEMS触覚デバイスの開発

超音波MEMSを活用した触覚デバイスを開発してます。特徴は、MEMSデバイスに上に、超音波を増幅するパッド（金属メッキ付き）を装着し、また、Aeroacoustics効果も作用させて、高性能を実現してます。

　

図13-0. 超音波を活用したデバイス

pMUTSと音波拡大機構（MEMS）を活用して、触覚デバイスを開発している。

　J. Sone, Fingertip tactile sensation via piezoelectric micromachined ultrasonic transducers with an amplified interface , Scientific Reports, 14, 2629, pp1-12, (2024). https://doi.org/10.1038/s41598-024-52630-2

カンチレバー型の触覚MEMSも開発してます。

　

図13. デバイスの構想図

図14.　試作デバイス図

微小電気機械要素（MEMS）を活用して、触覚デバイスを開発している。MEMSの設計は、３D-CADと機械・電気・音波・化学のマルティフィジクスのコンピュータ解析を駆使して実施している。

松本康義, 曽根順治, MEMS技術を用いた触覚提示デバイスの設計と特性解析, 日本バーチャルリアリティ学会論文誌,Vol.22,No.2,2017, pp.279-285, ISSN:1342-6680, https://doi.org/10.18974/tvrsj.22.2_279

樹脂薄膜型の触覚デバイスも開発してます。0.2mmと薄く、柔軟性があり、アクチュエータとセンサーの両方の機能があます。

　

図14-1. 薄膜樹脂タイプのTactileデバイス

［５］情報システム開発

・コンピュータグラフィックス

　OpenGLや、Direct－Xのライブラリーを用いて、C++でCG機能の開発もしてます。

最近は、ゲームエンジンのUnityを活用して、アプリケーションソフトを開発してます。

 

　

図１5．　Unityを使った、システム開発：　C#言語

３．その他
・研究室選びのポイントなど（各研究室自由に）

　3次元CAD、マルティフィジクスのコンピュータ解析を基礎として、ロボットとMEMSデバイスを研究・開発している。また、それらは、ゲームエンジンのUnityとC++,C#を用いて、バーチャルリアリティシステムを開発している。また、VRの知能化には、GPUを活用した深層学習も進めており、設計からシステム開発、深層学習までバランス良く研究したい人には、適する研究室である。