現実同期空間

仮想空間が計算機の新しい利用形態を産み出しつつあります。これまでのキャ ラクタ端末、現在のグラフィカル（二次元）端末に続いて、三次元化が進行し つつあるのは皆さんご承知の通りです。

三次元空間は私たちが生まれてからずっと見続け生活し続けている場です。計 算機でそれが実現できるようになった今、計算機の中に現実を持ち込んで、人 間に対して新しいメディア環境を提供するべきだと考えています。では、「現 実」とは何でしょうか。これまでは、それは形状・色の精緻さと高速表示（コ ンピュータグラフィックスの進化を見ればよくわかりますね）でした。しか し、私たちは「時の流れ」に注目し、「計算機上の三次元データを現実世界に 同期させる」ことを考えています。これまでの高速表示が目指していたのは 「現実と同じ速さ」にすることが目的で、「現実と同じ時の流れ」ではないと 言えます。現実と同期させるＣＧとしては、シミュレーションやアミューズメ ントのゲーム機がすでにありますが、それらの現実とはスティックの入力であ ったりボタンのタイミングであったりで、現実世界で一般に起こっている事象 とは程遠いものがあります。 この研究で目指しているものは、一つの空間内に生じる事象を全てリアルタイ ムに計算機側に取込み、もう一つの「現実と同じ時の流れを有する」空間を創 りだすことです。ここでは、現実世界の情報取得に、パッシブセンサである画 像処理技術を利用します。

計算機上での「現実同期空間」では、現実世界に同期するだけでなく過去のシ ーケンスを自由に再現できます。また、「現実同期空間」では、電子空間上の 様々なデータと現実の物体とをリンクさせることも容易で、これが人間に新し い世界をもたらすものと考えています。

京都大学工学部情報工学教室の第２講義室が主実験対象です。 １９９８年１０月末現在の情報です。 以下の画像は、全てユーザが情報メディア環境において 実時間(30fpsとはいかないけれど‥‥)で観察できるものです。

	実写画像。カメラが８台あるので、画像取込システム(video_server)も８つあ り、それぞれ30fps(320x240,RGB)でLAN上に配送します。
	あるカメラからの視点。視空間内に写る他のカメラの首振りの様子も実時間で 可視化されています。
	計算機側に予め与えられている静的物体モデルを、あるカメラのパラメータに 基づいて投影した画像。上の画面と同じ位置／向きです。
	実写画像に、静的物体モデルとカメラモデルを重畳させた画像。この画像が、 ユーザへの提示の基本となります。
	scraperシステムにおいて、空間中の動物体のボクセルを抽出した結果。この 抽出ボクセルに対して、さらに上位エージェントが認識／位置・特徴抽出など を行います。ボクセルデータ自身を可視化することもこのようにできますが、 表示能力がついてこない‥‥。
	全ての情報を重ねて表示中の様子。青い視空間は、別のユーザ／エージェント がそのカメラの制御権を支配していることを意味します。空間中の動物体の認 識結果に合わせて、人間ＣＧを合成表示しています。
	Voxelの再構成結果をVRML1.0で再現してみました。 左図をクリックしてみて下さい。 VRML1.0以降に対応したブラウザが必要です。 テキスチャが正しく張れないと悲しいので、できれば Cosmo Player 2.0 以降などで見てください。

実験システムが実行中の時のみ以下のリンクは有効です。