Media Information|Makoto MURAKAMI Laboratory|Toyo University
 

東洋大学 総合情報学部 村上真研究室
LinkIconアクセスLinkIconサイトマップ
テキストサイズ 小 |中 |大 |

ARキャラクタによる対話システムの構築

人と共に暮らし,人と会話ができる擬人化エージェントシステムを構築しています.

ARキャラクタによる対話システムとは

私たちは,家庭や屋外といった人が暮らす現実の環境で人と会話することができるシステムの構築を目指し,拡張現実(Augmented Reality: AR)技術を使用したARキャラクタによる対話システムを提案しています.提案システムでは,ユーザは頭部にヘッドマウントディスプレイ・カメラ・マイク・イヤフォンを装着します.まず,カメラから得られた映像をヘッドマウントディスプレイに表示し,AR技術を使用して人型のCGキャラクタをヘッドマウントディスプレイに表示されている映像中に合成表示します.また,マイクとイヤフォンによりユーザはARキャラクタと会話することができます.
ARキャラクタによる対話システム

ARキャラクタ対話システムの実行例

実装したシステムでは,ヘッドマウントディスプレイに方向を推定できるセンサが搭載されていて,センサから得られるユーザの顔の向きに応じてARキャラクタを適切な位置に表示するようにしています.また,カメラには距離データを取得できるセンサが搭載されていて,現実世界のオブジェクトとARキャラクタの前後関係を判定し,オブジェクトの後ろにARキャラクタが隠れるように表示することも可能となっています.
ARキャラクタによる対話システムの実行例

ARキャラクタの動作制御部の構築

被験者に隠れてARキャラクタを操作できるAR WoZシステムを構築し,ARキャラクタの動作制御部を構築しようとしています.

AR WoZシステムとは

ARキャラクタをどのように動作させればよいかは,システムの目的や状況に応じて異なります.Human Robot Interaction研究では,人間が被験者に隠れてロボットを操作するWizard of Oz(WoZ)法によりロボットと被験者のやり取りのデータを取得し,それらを分析することで状況やタスクに適したロボットの動作を明らかにし,それを元にロボットの動作を制御するという方法が用いられています.私たちも,人間が被験者に隠れAR WoZシステム

AR WoZシステムの実行例
てARキャラクタを操作できるAR WoZシステムを構築し,このシステムを用いて様々な状況で被験者実験を行い,ARキャラクタの動作制御部を構築しようとしています.

対話に適したユーザとARキャラクタの位置関係の分析

私たちは,ARキャラクタの動作制御部構築の第一段階として,何も置かれていない机に向かって椅子に腰かけた状態のユーザが机の上に立っているARキャラクタと対話する際の最適な位置関係の分析を行っています.

ARキャラクタによる道案内システムの構築

人が人を道案内するように,楽しく会話をしながら歩いていたら,いつの間にか目的地に着いていたと思えるような道案内システムを構築しようとしています.

ARキャラクタによる道案内システムとは

現在,スマートフォンや携帯電話で使用できる地図アプリには,ナビゲーション機能が搭載さているものが多く,それらは地図上に現在地と目的地までのルートを表示することで,ユーザを目的地まで誘導します.また,スマートフォンや携帯電話
ARキャラクタによる道案内システム

にはカメラが搭載されているものが多く,地図上にルートを表示する代わりに,カメラから得られた現実の映像中にAR技術を使用して矢印等を表示するシステムもあります.私たちは,現実の映像中に人型のキャラクタを表示させ,そのキャラクタが道案内をしてくれるARキャラクタによる道案内システムを構築しようとしています.

人間同士の道案内における位置関係の分析

人が人を道案内する場合,ただ先導したり口頭で指示を出したりすることはあまりなく,目的地やその土地に関する話をしながら並んで歩くことが多く,案内される人にとっては話をしていたらいつの間にか目的地に着いていたと感じることもあります.私たちは,ARキャラクタにこのような方法で道案内をさせることを目指し,被験者実験により人が人を道案内する際のお互いの位置データを計測し,人間がどのように道案内をしているのかを明らかにしようとしています.

共食コミュニケーション支援システムの構築

遠隔地にいる人同士が同じ食卓を囲んで食事をしながらコミュニケーションをとっていると感じられるシステムを構築しようとしています.

共食コミュニケーション支援システムとは

近年日本では,単身者・病院の入院患者・共働きの両親を持つ子供などが増加していて,孤食と呼ばれる1人で食事をする行為が増えています.そこで,私たちは,遠隔地にいる人同士が同じ食卓を囲んで食事をしながらコミュニケーションをとっていると感じられる共食コミュニケーション支援システムを構築しようとしています.

共食コミュニケーション支援システム

共食コミュニケーション支援システムの実装

複数人の会話では顔の向きや視線の情報が重要であるため,私たちは,顔の向きの情報を相互に送受信可能で,家庭や病室等で利用できる程度に小規模な遠隔コミュニケーションシステムを構築しました.具体的には,卓上に設置されたXtionセンサを用い,リアルタイムでユーザの上半身の3次元情報と色情報を取得し,ネットワークを介して送信します.受信側では,カメラとヘッドマウントディスプレイを頭部に装着したユーザに対して,カメラから得られた映像にAR技術を使用して受信した遠隔ユーザの3次元ポリゴンを合成し,ヘッドマウントディスプレイに表示します.このとき,ヘッドマウントディスプレイに搭載されたセンサによりユーザの顔の向きを推定し,顔の向きに応じて遠隔ユーザを適切な位置に表示させるようにしています.
共食コミュニケーション支援システムの実行例

調理支援システムの構築

Under Construction