映像メディア工学（２０１４年度）

映像メディア工学（２０１４年度）

授業科目, www.kameda-lab.org 2014/12/27c

告知

課題掲載。(2014/12/24)
日程掲載。(2014/09/29)

本授業について

担当：亀田能成・北原格
教室：3B302
期間：秋AB
時間：水曜5,6時限目(13:45-15:00, 15:15-16:30)
単位：2単位

本講義は２０１４年度秋ABモジュールに、 筑波大学大学院システム情報工学研究科知能機能システム専攻の １・２年生を想定して開講されます。

日程

以下の予定は変更される可能性があります。
年/月/日回担当テーマ
2014/10/01 01 北原1
2014/10/08 02 北原2
2014/10/15 03 北原3
2014/10/22 04 亀田1
2014/10/29 05 北原4
2014/11/12 06 亀田2
2014/11/19 07 北原5
2014/12/03 08 亀田3
2014/12/10 09 亀田4
2014/12/17 10 亀田5
2014/12/24 試験 なし

講義資料

この講義のうち、少なくとも亀田担当分は ハイビジョン講義アーカイブ で学内から視聴可能です。

ここの講義資料(*.pdf)は、受講者が使用するためのものです。 再配布ならびに受講者以外の閲覧は理由の如何を問わず認めません。

課題

manabaから下記の課題を３つとも提出すること。

  1. 近未来における立体視デバイス普及の可能性
    • 受付開始日時： 2014-12-24 11:40
    • 受付終了日時： 2015-01-06 18:00
    • 2014/12/3に授業内で体験してもらった立体視方式（下記1.-5.)について、下記の観点から論ぜよ。
      • 原理：方式の名称を述べ、簡単な説明をすること。
      • 認知：認知上の優劣を述べよ（特に他の手法との違いを説明に組み込むこと）。
      • 普及：機器の生産性や視聴形態からくる普及のしやすさについて考察せよ。
      • 将来：総合的に見て、その方式が近未来に普及すると思われるかどうかを、上記の原理・認知・普及・将来の観点を踏まえながら予想せよ。
    • 再生リスト：立体視のためのメディア（無音） に検証用の映像をYoutubeで用意してある。ただしYoutubeでの再生は30fpsになるであろうことに注意(再生環境によっては1920x1080も保証されない)。音声付再生リストについてはこちら（学内限定）からリンクを辿ること。

      1. 通常の映像（垂直画角50°固定）
        ＣＧレンダリングのみ
        垂直画角50°固定
        1920x1080,60p
        mp4(学内限定) 341,493,249 bytes
        (YouTube)
        【視聴】1920x1080,60fps対応可能な平面提示デバイス（解像度・fps注意）
        【注意】視聴時にスクリーンに対して垂直視野角が50°になる位置を正確に求めてその視点位置から視聴すること。

      2. 平行法 16:9 （垂直画角50°固定）を裸眼立体視
        片目ずつに1920x1080,60pを用意しフレームごとに左右に連結
        垂直画角50°固定
        3840x1080,60p
        mp4(学内限定) 672,982,985 bytes
        (YouTube)
        【視聴】この解像度に対応できる平面提示デバイス上で裸眼立体視（解像度・fps注意）
        【注意】視聴時にスクリーンに対して垂直視野角が50°になる位置を正確に求めてその視点位置から視聴すること。
        ※裸眼立体視が前提となるが人間の視覚系の構造上ほぼ視聴は無理。

      3. 平行法 16:9横圧縮（垂直画角50°固定）を液晶シャッター眼鏡で立体視
        片目ずつに1920x1080,60pを用意し、フレームごとに左右に連結した上でエンコード時に横方向解像度1/2圧縮
        垂直画角50°固定
        1920x1080,60p
        mp4(学内限定) 100,951,454 bytes
        (YouTube)
        【視聴】nVIDIA 3D Vision2 (Asus G75VW built-in)
        【注意】視聴時にスクリーンに対して垂直視野角が50°になる位置を正確に求めてその視点位置から視聴すること。

      4. 平行法 16:9横圧縮（垂直画角50°固定）を偏光眼鏡で立体視
        片目ずつに1920x1080,60pを用意し、フレームごとに左右に連結した上でエンコード時に横方向解像度1/2圧縮
        垂直画角50°固定
        1920x1080,60p
        ※映像ソースは上記に同じ
        【視聴】Toshiba 26ZP2
        【注意】視聴時にスクリーンに対して垂直視野角が50°になる位置を正確に求めてその視点位置から視聴すること。

      5. 平行法 8:9 （垂直画角50°固定） を裸眼立体視
        片目ずつに960x1080,60pを用意しフレームごとに左右に連結
        垂直画角50°固定
        1920x1080,60p
        mp4(学内限定) 481,378,082 bytes
        (YouTube)
        【視聴】この解像度に対応できる平面提示デバイス上で裸眼立体視（解像度・fps注意）
        【注意】視聴時にスクリーンに対して垂直視野角が50°になる位置を正確に求めてその視点位置から視聴すること。
        ※裸眼立体視が前提となるが、人間の視覚系の構造上相当に視聴は困難。

      6. 平行法 樽型歪み（垂直画角125°固定）
        片目ずつに960x1080,60pを樽型歪で用意しフレームごとに左右に連結
        歪適用後換算で垂直画角125°固定
        1920x1080,60p
        mp4(学内限定) 357,487,580 bytes
        (YouTube)
        【視聴】Oculus Rift DK1 / DK2
        【注意】両眼間調整などを行ってから視聴すること。

      7. おまけ：Virtual Reality（垂直画角125°，視聴位置可変）
        Oculus Rift (DK1/DK2)上でバイナリを実行して視聴
        DK1 (1280x800), DK2 (1920x1080)
        (1) Windows sample program at Oculus VR lib 0.3.2, for DK1 (VME2014-ovr032.zip) (学内 バイナリ 263,270,585 bytes)
        (2) Windows sample program at Oculus VR lib 0.4.4, for DK1/DK2 (VME2014-ovr044.zip) (学内 バイナリ 87,127,994 bytes)

        上記(2)については事前に OVR 0.4.4 runtime for windowsのインストールが必須。

        • DK2のdirect mode希望なら、デスクトップは(Windowsキー+p的に)「コンピュータのみ」にしておいて、バイナリ起動後 Screen resolution:1920x1080, windowed/on, Graphics quality: Good以上, Select monitor: Display1。
        • extend mode (DK1/DK2)希望なら、デスクトップは(Windowsキー+p的に)「拡張」にしておいて、バイナリ起動後 Screen resolution: 1920x1080(DK2)/1280x800(DK2), windowed/off, Graphics quality: Good以上, Select monitor: Display2。

  2. 近未来におけるHDRデバイス普及の可能性
    • 受付開始日時： 2014-12-24 11:40
    • 受付終了日時： 2015-01-06 18:00
    • High Dynamic Rangeを実現するディスプレイもまた、（立体視ディスプレイと並んで）夢の映像提示デバイスである。ここでは特に絶対光量の観点で考える。
      • 自己発光式表示デバイスの明るさを定義するのに適した単位を挙げ、その説明をせよ。
      • 現在普及しているタブレット、スマホ、ＰＣについて、それぞれ少なくとも１つ以上の具体的機器を挙げ、その明るさを調べよ（出典を示すこと）。
      • 屋内で表示デバイスをみるとき、それが典型的オフィスの机上にあったとする。標準的なオフィスの机上の明るさの推奨値を調べよ（出典を示すこと）。
      • 調査した機器（３つ以上）は、「十分な明るさ」を実現できていると言えるか？先に調べた『机上の明るさ』との関係から考察せよ。
      • 屋外で人間が身の回りの事物を見るとき、その明るさについて調査してみよ。
      • 調査した機器（３つ以上）は、屋外で「十分な明るさ」を実現できていると言えるか？屋外での身の回りの事物の明るさとの関係から考察せよ。

  3. 画像処理における２次元局所特徴量の算出アルゴリズムの概形
    • 受付開始日時： 2014-12-19 11:40
    • 受付終了日時： 2015-01-06 18:00
    • SIFTに代表される２次元局所特徴量を検出し利用するためのアルゴリズムの概形について、以下の問に答えよ。
      • 検出から記述獲得までを下記の４段階で分けるものとする。各段階で行われる処理の概要をそれぞれ数行以上で説明せよ。


        1. キーポイント検出
        1-1. スケールとキーポイント検出
        1-2. キーポイントのローカライズ
        2. 特徴量の記述
        2-1. オリエンテーションの算出
        2-2. 特徴量の記述

      • 結果として得られるキーポイントの「記述」を表す属性（複数）について、それぞれの属性の内容とそれを表すのに必要な次元数を述べよ。
      • ある画像Aからキーポイントがn個得られたとする。このときのキーポイントをk_A-i (i = 0 〜 n) とする。 これらに対して、別の画像Bにおいて、今、１つのキーポイント k_B-j が得られたとする。 この k_B-j に対応すると考えられる画像A内のキーポイントを探し出す方法を説明せよ（数行程度の説明でよい）。

シラバス

謝辞 

motion:【Perfume】マカロニ踊ってみた【ふがぴー】
http://www.nicovideo.jp/watch/sm12848436

trace:【MMD銀魂】 マカロニ 【モーション配布】【銀誕2014】
http://www.nicovideo.jp/watch/sm24655748

model:Lat式ミクAP
http://www.nicovideo.jp/watch/sm15355081

背景:Skydome
http://www.nicovideo.jp/watch/sm17874820

エフェクト:Barrel Distortion
http://www.nicovideo.jp/watch/sm21451083
エフェクト:立体視
http://www.nicovideo.jp/watch/sm12849049
エフェクト:Following Eye
http://www.nicovideo.jp/watch/sm15644778
エフェクト:S5 shader
http://seiga.nicovideo.jp/seiga/im313...

ツール(MMD,MME,つんでれんこ,pmx editor)
http://www.nicovideo.jp/watch/sm2420025
http://www.nicovideo.jp/watch/sm12149815
http://www.nicovideo.jp/watch/sm7634361
http://www.nicovideo.jp/watch/sm20566765
kameda[at]iit.tsukuba.ac.jp