三次元空間の状況理解と映像化
〜遠隔講義・講義アーカイブを例として〜

概要

• TIDE Project and Lecture Archive Project [1998-2002] (2003/01/29)
• 1998-2002に渡る自動撮影関連研究の概要説明 (2002/10/20)
• 研究説明〜三次元空間映像化の観点から〜 (2001/06/28),(in English)

MULVIS-1（画像処理に基づく講義自動撮影）

遠隔講義を前提に、 講義室に複数（８〜１２台）の首振カメラを設置し、講師や受講者の 状態を観測すると共にそれに基づいて自動的に最適な撮影を行う方法に ついて研究を行っています。 本手法では映像化のとき、複数の撮影カメラの中でどれを選択するかは バーチャルディレクターの判断で決定されます。 この判断は、講義状況に鑑みて最も適切であろう撮影対象とそれを 最もよく撮影できるカメラとを選ぶことで行われます。 試作システムの名称は MULVIS-1 (MUlti-camera based Video Imaging System) です。

MULVIS-2（ユーザ毎の好みに合わせた講義自動撮影）

MULVIS-1に対して、各遠隔受講者の個々の映像嗜好を予め取り入れ、 それに基づいて講義状況をみながら複数撮影カメラの割当てを行い、 個々人に異なる映像を送出する方法について研究をしています。 本試作システムの略称もMULVIS-1と同じなので、区別するために MULVIS-2 (Multi User Live Video Imaging System) と呼んでいます。

センサ融合に基づく話者状況の理解とそれに基づく自動撮影

MULVIS-1では、画像認識処理によってのみ講義状況を推定していたため、 動きがないながらも重要な講義状況を抽出することが困難でした。 そこで、マイクロフォンアレイとポジションセンサーを駆使し、 話者とその状況を理解することでより適切な自動撮影を可能としました。

CARMUL（講義アーカイブシステム）

センサ融合に基づく自動撮影に加えて、 ホワイトボード自動記録システム、 音声収録システム、 スライド記録システムを統合することで、講義室で発生する全ての 情報を完全にアーカイブ化するシステムを実現しています。 アーカイブは、SMIL形式を通して閲覧することができます。 京都大学では実際に授業のアーカイブに用いています。 なお、CARMULとは Concurrent Automatic Recording for MUltimedia Lecture の省略形です。

正確で快適なカメラワーク実現のためのカメラ制御機構

対象物体の首振りカメラによる撮影は、カメラワークで記述できます。 状況に応じて実現するべきカメラワークをバーチャルディレクターが 規定しますが、物体が動いている状態でバーチャルカメラマンが そのカメラワークを保つことは難しい課題です。 我々は、特に視聴者に不快感を与えるカメラ回転方向・速度の変更を 最小限に抑えつつ指定されたカメラワークを実現し続ける手法を 提案します。

映像上の複数物体の輝度同時制御

普通、カメラには画面全体の輝度を制御するための機構が用意されていますが、 演劇などのように、複数の人間を異なる明るさにしようとすると、カメラの 絞り調整などでは片側が黒くなったり白くなったりするだけで、 思ったような映像になりません。 そこで、照明機構を自動制御することで、どの物体の明るさも常に思った 通りの明るさに保つことが可能な手法を提案します。この手法は 高速なので、撮影される人は動き回っても構いません。

発表文献

• 亀田能成の発表文献リスト
• 美濃研文献リスト

研究に参加されたい方へ

研究について参加したいとお考えの方は、 私か、 美濃教授 までご連絡ください。

メンバー

代表 :
美濃導彦

指導 :
亀田能成(1996-2003)
西口敏司(2001-)
八木啓介(2001-)
椋木雅之(2001)
Tomasz M. Rutkowski(2002-)
角所考(2003-)

主要研究メンバ :
上山大輔(1996)、 吉吉健太郎(1996)、
宮崎英明(1996-1998)、
宮田真嗣(1998)
石塚健太郎(1998-1999)
村上正行(1999-2001)
東和秀(1999-2001)
新康孝(2000-2002)、 新宮淳(2000-2002)
横尾昌弘(2002-2003)
新津啓司(2002-)、 三木健司(2002-2003)