映像を中心とするメディア情報がディジタル化され、
計算機によるディジタル通信とディジタル処理が
インターネットの普及とあいまって社会の基盤として発展して来ると、
社会に流通する情報が飛躍的に増大する。
これにともなって、利用者がアクセスでき利用できる情報が、
一人の人間のもつ能力の限界を超えて氾濫し、
利用者が有用な情報を自分で探し出して利用することが
ますます困難な状況になって来ている。
このような状況においては、個人が必要とする情報を何らかの形で
要約することにより、利用者を支援するメカニズムが必要となる。
映像情報はその中に本質的に時間軸を
含む時空間データ(4次元データ)である。
その要約にあたっては、MPEGのように時空間を
そのまま線形圧縮するのではなく、
その映像に含まれている信号に依存して情報を非線形に要約することが
重要な課題となる。
このような処理を実現するためには、
何らかの形で制約を導入する必要がある。
映像は3次元の情景(シーン)を2次元画像の系列として記録したものである。
シーンを2次元画像として切り出すためには、
カメラ視点を与え、ズーム値を決めてフレーミングする。
時間とともに、カメラを空間内で動かすことが必要になる。
これらの動作をまとめてカメラワークとすると、
カメラワークはシーンにおける状況に応じて決まるものであるといえる。
カメラワークは、映像製作の分野ではある程度のコンセサスがあり、
シーンの状況と大きな相関を持っていると考えられる。
このカメラワークを映像から抽出すれば、
シーンの状況が推測できるので、映像の編集、加工を含めた情報の
要約処理に有効であると考えられる。
すなわち、カメラワークを積極的に活用することにより、
映像の時空間データの非線形圧縮手法について研究を進め、
その有効性を検証する。
映像には、そのストーリが予め定められていることが多い。
ドラマには台本があり、テレビ番組にはシナリオがある。
このストーリによって映像が製作されている。
大学で行われている講義を考えたとき、ストーリにあたるものとして、
先生が講義に利用する教材がある。
教材は計算機で作成されることが多いので、
教材をストーリとしてシーンを映像化できる。
このとき、カメラワークの知識をもったバーチャルカメラマン、
ストーリをもったバーチャルディレクタを構築し、
シーン内の状況をこれらの制約に基づいて非線形圧縮する手法を研究する。
この中で、教材情報がどの程度ストーリとして役に立つのか、
を考察する。
これは良い教材とは何か、という問題にも関連する大変重要な問題である。
また、講義情報をどの程度非線形に圧縮できるかについても研究を進める。
これは、圧縮した情報を、たとえば、
自習用教材として利用できるかという面からも評価できる。
対象として映像が与えられたとするか、
そこにシーンがあるかの違いはあるが、
双方の手法に共通して使える考え方、手法を明確にした後に、
結果を比較検討し、データから制約を抽出するボトムアップ的な手法と
トップダウン的に制約を与える手法の特質を明確にする。
結果として、どの程度ユーザを支援する情報要約機構が実現できたかを
システム構築を通じて評価する。
また、制約の種類と強さが時空間の非線形圧縮に与える効果についての
理論的な知見を得ることも大きな目的である。
| |