パターン認識特論課題（２０１５年度）

パターン認識特論, 授業科目, www.kameda-lab.org 2015/11/17b

ここにあるのは亀田側からの課題のみです。
掛谷先生からの課題はここには掲載されていません。
下記の課題において、「★」のついた行が実際に提出すべき部分です。
提出はmanaba.tsukuba.ac.jpから行ってください。エントリのない学生は申告してください。(近日中にtwinsから履修登録をします)
Any of Japanese / English reports are accepted, but you must follow the instructinos below.

課題１ [2016/01/08,18:00締切]
「２クラス問題の線形分離条件」
詳細については講義中に説明済みです。
今、d次元実数ベクトルがn個存在するとし、２クラス問題を考える。
1. n個のベクトル（ただし一般配置(general position)とする）にどのように２クラスのラベルを付与しても、必ず線形分離可能であるための条件を示し、その証明を説明せよ。
2. 参考図書、文献を用いた場合は出典を詳細に明記すること。
3. 説明は必ず自分で文章を作成すること。
4. 独自の説明図を必ず１つ以上挿入すること。その図には「解説図(figure for explanation)」とキャプションをつけること。
5. 説明文・説明図に他の学生や参照元等と重複が見られた場合は０点扱いとする。（説明の論理、頼りにした資料自体は同じでもよい）
★提出はPDFファイルで行い、先頭に授業名、課題名、氏名、学籍番号、作成日を表示すること。解答は１枚以上とする。
課題２ [2016/01/08, 18:00締切]
「SVMによる高次元ベクトルの２クラス分類の実施」
高次元ベクトル集合の２クラス分類を実施せよ。
解答に「認識率」とある場合は、各クラスについてPrecision（適合率）とRecall（再現率）を求めて表示せよ。
(参考：天気予報が「晴」とした日のうち実際に晴れた日の比率がPrecision、実際晴れだった日のうちで天気予報が「晴」と言っていた日の比率がRecall)
★記述に関しては、PDFファイルで行い、先頭に授業名、課題名、氏名、学籍番号、作成日を表示すること。その際、以下の下線部に相当する記述がすべて含まれていること。
★PDFファイルとは別に、xxxxxxx-SmallSet-L.txt, xxxxxxx-SmallSet-T.txt, xxxxxxx-LargeSet-L.txt, xxxxxxx-LargeSet-T.txtの４つのデータファイルを提出すること。
- (1) データ
  1. (SmallSet) ２クラス、２次元ベクトル
    1. 全て教師信号つきのデータを用意すること。
    2. 教師信号は-1と1とする。
    3. データ数は各クラス２００以上。うち、１００データを試験用、残りの１００データ以上を学習用とする。
    4. シミュレーションによる合成可。
    5. ２クラスは線形識別不能であることこと。
    6. フォーマットはlibsvm入力データフォーマット準拠。
    7. ★学籍番号の数字部分 xxxxxxx を用いて、学習用(Learning)を xxxxxxx-SmallSet-L.txt、試験用(Testing)を xxxxxxx-SmallSet-T.txt として提出すること。
    8. ★特徴量ベクトルの次元数dを示すこと。
    9. ★実データの場合、データのクラスの意味と各特徴量の意味を説明すること。シミュレーションの場合は式と乱数の扱いについて説明すること。
    10. ★データの線形識別不能性について調査し説明すること。
  2. (LargeSet) Ｎクラス(N>=2)、ｄ次元ベクトル(d>=6)
    1. 学習データとして、教師信号つきを用意すること。試験データについても教師信号付きが望ましい（がなくともよい）。
    2. 教師信号は-1と1とする。
    3. データ数は各クラス２００以上。うち、１００データを試験用、残りの１００データ以上を学習用とする。
    4. シミュレーションによるデータ生成不可。、実データに基づくデータであること（手動による加工過程が含まれていてもよい）。今後公開しても問題の無い情報に基づくこと。
    5. ２クラスは線形識別不能であることことが望ましいが、次元数に対してデータ数が少ない場合はこの限りではない。
    6. フォーマットはlibsvm入力データフォーマット準拠。
    7. ★学籍番号の数字部分 xxxxxxx を用いて、学習用(Learning)を xxxxxxx-LargeSet-L.txt、試験用(Testing)を xxxxxxx-LargeSet-T.txt として提出すること。
    8. ★特徴量ベクトルの次元数dを示すこと。
    9. ★データのクラスの意味と各特徴量次元の意味を説明すること。各特徴量の取得方法を説明すること。（引用からデータを作成した場合、出典を明らかにすること）
    10. ★データの線形識別不能性について調査し説明すること。
  3. 参考： libre calcで生成した)csvファイルをlibsvmフォーマットに準拠させるフィルタ．（PRML2013-kameda.zip内に同梱)
    $ awk -f csv2libsvm.awk < fromlibre.csv > forlibsvm.txt
- (2) SVM（識別器の作成）
  libsvmを用いて、クラス分類器を製作し、試験を行うこと。
  それぞれ、SmallSet, LargeSetの両方について行うこと。
  1. libsvm同梱のeasy.pyを用いてよい。
  2. スケーリング範囲は(-1, 1)とする。
  3. カーネルにはRBFを用いること。
  4. パラメータチューニングにおいて、5-fold cross validationを用いること。
  5. パラメータチューニングにおいて、Soft MarginのＣのグリッドサーチ範囲は 2^-5 ～ 2¹⁵、RBFのγのグリッドサーチ範囲は 2^-15 ～ 2³ とする。
  6. ★作業手順を示すこと。(bashのhistory相当でよい)
  7. ★チューニング結果であるソフトマージン、RBFのＣ、γをそれぞれ 2^xの形で示すこと。
  8. ★チューニングの様子を示すグリッドサーチに対する認識率分布グラフを示すこと。
  9. ★学習用データに対する認識率を示すこと。
  10. ★試験用データに対する認識率を示すこと。
  11. ★学習用データ、試験用データの認識率の差に対する考察を、データ分布状況やSVMの特性に言及して行うこと。
- (3) PCAによる2D表示
  R等を用いて、SmallSet, LargeSetの両方について主成分分析を行い、２次元平面内へプロットして示すこと。
  1. 入力データはスケーリングすること。スケーリングは上記(2)と同一にすること。
  2. ★求めた第１、第２主成分について、寄与率を示すこと。
  3. ★求めた第１、第２主成分について、偏差と主成分ベクトルを示すこと。
  4. ★求めた第１、第２主成分の軸に沿って入力データをプロットした散布図を示すこと。各クラスについて異なる印で示すこと。
  5. Rと合わせたlinux上での作業例については講義アーカイブ参照。
- 課題３ [2016/01/08,18:00締切]
  「ＰＣＡによる２Ｄ表示」
  R等を用いて，課題２のSmallSet, LargeSetの両方について主成分分析を行い，２次元空間で解析を行いなさい．
  1. 入力データはスケーリングすること。スケーリングは上記(2)と同一にすること。
  2. ★求めた第１、第２主成分について、寄与率を示すこと。
  3. ★求めた第１、第２主成分について、偏差と主成分ベクトルを示すこと。
  4. ★求めた第１、第２主成分の軸に沿って入力データをプロットした散布図を示すこと。各クラスについて異なる印で示すこと。
  5. Rと合わせたlinux上での作業例については講義アーカイブ参照。 ★提出はPDFファイルで行い、先頭に授業名、課題名、氏名、学籍番号、作成日を表示すること。解答は１枚以上とする。
参考資料

授業で解説した内容とほぼ同等のことは、全て、 Casper CartridgeのVer.5xx.で実行可能です。日本語込みであれば Ver.521, Ver.540辺りがよいでしょう。
上記の説明に出てくるスクリプトやデータについては、下記アーカイブを展開して参照してください。
アーカイブ内のデータは復習用に自由に使ってもらって構いません。
ただし、レポート提出時には（シミュレーションでもその他でも）このデータないしこのデータから派生したと思われるデータは使わないこと。

kameda[at]iit.tsukuba.ac.jp

パターン認識特論課題（２０１５年度）

告知

課題

参考資料