研究・開発プロジェクト

平#がこれまでに関わってきた、また現在も関わっている研究・開発プロジェクトを紹介します。

 

ユビキタスコンピューティングのためのインタフェースとメディア表現

RFIDを利用した行動計測とその情報表現

 下記アメニティ風呂では、浴槽内にいる人の動きや生理指標を計測して、人の状況を把握することが可能ですが、頭髪や身体を洗っている時などはどういう状況かわかりません。そこで、浴室内の物品にRFIDがついているという前提で、それらの置いてある場所を計測することで、使われている物を判断し、何をしているかを推定する技術を研究しています。浴室での適用については、RFIDを浴室壁の裏や床下から計測することで、電気設備としての問題点を回避することができます。使われている物から人が何をしているかを判断するには、浴室での行動モデルを構築した上で行動を推定する技術について研究を行っています。
 また、得られた物の情報や行動の情報を伝達・表現する研究も並行して行っており、現時点ではアメニティ風呂と同様にサウンドや音楽で情報表現する事に取り組んでいます。
 アメニティ風呂の技術と組み合わせることで浴室での物事全体をカバーする研究という位置付けになります。それ以外では、RFIDを利用したユーザの行動計測と行動推定という観点で、浴室に限らない様々な応用分野に適用することも可能です。
RFIDによる行動計測を行う浴室の概念図

アメニティ風呂

 日常生活でのユビキタス環境の一形態をコンセプトに、「楽しんで入浴できる浴室環境」を大阪ガス株式会社と共に研究を開始。浴槽に入浴した人の動きや生体情報(心拍・呼吸)を元にインタラクティブなサウンドを生成するシステムを試作しました。入浴状態に応じたサウンドが浴室内で聞けることにより楽しみながら入浴ができるほか、生体情報のフィードバックによる健康管理・増進などへの応用も可能です。また、入浴中の動きや生体情報を浴室外の部屋や遠隔地へ伝達することで安全管理への応用も考えられます。
アメニティ風呂システムのコンセプト

システムのコンセプト
アメニティ風呂システムの概要図

試作システムの概要図

 

インタラクティブなメディア表現のためのソフトウェア

GEM (Graphics Environment for Multimedia)

 インタラクティブアートなどに利用できるCGアニメーション制作・実行ソフトウェア GEM (Graphics Environment for Multimedia)の開発。ビジュアルプログラミング環境 PureData 上で OpenGL ベースの CG を描くソフトウェアとして Mark Danks が開発したものですが、現在はオープンソース・ソフトウェアのプロジェクトとしてオランダのIEM を中心に開発が続けられています。元々は SGI IRIX と WindowsNT 上の PureData で動いていたものを、PureData と同様の商用ソフトウェア Max/MSP (Macintosh用) でも動作するように移植し始めたことから、現在も様々な機能拡張を行って開発に関わり続けています。また、このソフトウェアを利用してインタラクティブアートの制作・上演を行っているアーティストの方々もいます。
 ちなみに、Max/MSP には開発元の Cycling '74社が開発した Jitter というCG用ソフトウェアが存在し、OpenGL を利用する機能がありますが、Jitter はマトリクスデータ(配列や画像データなど)をベースにした処理を行うものであり、GEM は OpenGL をベースに3D処理を中心に扱うものです。同じようなことができますが、内部の動きは全く違うものとなっています。
gem4maxのサンプル画面

ARToolKit for GEM :Augmented Reality (拡張現実感)アプリケーションを容易にするソフトウェア

 ARToolKit をGEM 上で簡単に利用できるようにするものです。ARToolKit とはビデオカメラとビジュアルマーカーを用いることで、映像上のマーカーにCGを重ね合わせ、簡単にAugmented Reality (拡張現実感) アプリケーションを構築できるようにするライブラリ&ツールキットです。しかし、C/C++等のプログラミング言語でないと扱えないとことから、コンテンツ制作に利用できる人が限られることのほか、制作作業における細かな調整作業やインタラクティブな動作確認にはあまり向いていないという問題点がありました。ARToolKit for GEM は、オーサリング環境としても利用できるPureDataやMax/MSPのビジュアルプログラミングの機能を最大限に活かし、これらの問題点を解決します。また、GEM の一機能として動作することにより、ビデオ入力の制御がより柔軟に行えるようになったことや、既存のムービーファイルの映像でも処理が可能であるため、アプリケーション構築やテスト環境としての応用性も広がりました。 ARToolKit for GEMの動作画面

 

メディアアート関連

竹管の宇宙プロジェクト

竹管の宇宙の演奏場面  (財)イメージ情報科学研究所にて始められた、尺八によるインタラクティブ・アート・パフォーマンス・プロジェクトです。様々なセンサ(加速度センサやジャイロセンサなど)を用い、尺八の動きや首振りといった演奏に重要な動作によってシンセサイザなどを制御する「サイバー尺八システム」をコアにプロジェクトは進められました。ここでは、その制御システムや作品制作のためのソフトウェア基盤の研究開発をはじめ、実際の作品制作・コンサート活動、演奏中の生体情報計測や作品評価など野心的な試みを行ってきました。平#はソフトウェアシステムの開発やコンサートサポート、生体情報計測周りなどを担当していました。現在は、尺八演奏家の志村哲氏(竹号:禅保)とサイバー尺八製作者の金森務氏で演奏活動を続けています。

 

その他

音痴治療支援システム

 音痴(調子外れ)治療・カウンセリングでも有名な愛知教育大学 村尾忠廣教授との共同研究として開発したシステムです。音痴の人が自宅で一人でも治療用の訓練ができるよう、PCを利用してゲーム感覚で楽しみながら音痴治療の訓練ができるシステムとなっています。基本機能は音声のピッチ(音高)をリアルタイムで画面表示(ビジュアルフィードバック)するものですが、音痴のタイプやその治療方法に合わせた訓練内容が選択できるようになっています。現在のPCの計算能力では当たり前のようにできる処理ですが、開発当時のマシンの処理能力では精一杯の処理を行っていました。 音痴治療支援システムの画面

パーソナルモーションキャプチャ "DigitEye3D" 応用

 

生理指標計測とその応用システム(リハビリテーションシステムやゲームなど)