Saliency Map Graph Cuts p Saliency MapSeedsGraph Cuts

背景除去 : Saliency Map + Graph Cuts p 概要：　Saliency MapをSeedsとした多重解像度解析によるGraph Cuts 視覚注意領域抽出 Saliency Map seeds LL, HL 入力 多重解像度解析 LH, HH LL: 平滑化画像 n-link bkg Graph Cuts Segmentation t-link HL, LH, HH: 局所テクスチャ 出力 再学習 事前確率 GMM(色+テクスチャ)更新 t ← t-1 解像度レベルの更新 CS 17 Media Laboratory, Kobe University

特徴統合 p Single Kernel Learning p Multiple Kernel Learning CS 17 Media Laboratory, Kobe University

予備実験: 　セグメンテーション精度評価 p 使用データベース：　Grab. Cut Segmentation Database p 画像枚数：　50枚 p 評価方法：　誤検出率 Over segmentation rate = 物体領域の誤検出ピクセル数/全ピクセル数 p Under segmentation rate = 背景領域の誤検出ピクセル数/全ピクセル数 p Error rate = (Over segmentation + Under segmentation) p p 実験内容： p Saliency MapをSeedsとした多重解像度解析による繰り返しGraph Cuts p セグメンテーション比較実験： p p Saliency Cut [Yu Fu, Jian Cheng, Zhenglong Li, Hanqing Lu, 2008] Saliency Map + 多重解像度解析Graph Cuts 従来手法 提案手法 http: //research. microsoft. com/en-us/um/cambridge/projects/visionimagevideoediting/segmentation/grabcut. htm CS 17 Media Laboratory, Kobe University

実験結果 2 p 従来手法と提案手法のエラー率の比較 CS 17 Media Laboratory, Kobe University

実験結果 3 p 繰り返しセグメンテーションの例 CS 17 Media Laboratory, Kobe University

評価実験: 　分類精度評価 p 使用データベース：　Caltech 101 p 物体クラス数: 　101種類 p 学習データ：　30枚/クラス p 使用特徴量：　Bo. F(Do. G), Bo. F(Grid), Color, Gabor p 識別器：　MKL-SVM p 評価方法：　平均分類率 (Confusion Matrix) p 実験内容： 通常のMKL p 通常のMKL + 背景除去 p 各次元ごとのMKL + 背景除去 p 従来手法 提案手法 Caltech 101: http: //www. vision. caltech. edu/Image_Datasets/Caltech 101. html Fei-Fei et al. (2004) CS 17 Media Laboratory, Kobe University

実験結果 1 学習枚数 (a) MKL (b) 各次元MKL (c) MKL+背景除去 (d) 各次元MKL+背景除去 10枚 59. 1% 61. 6% 61. 9% 64. 2% 20枚 66. 2% 67. 9% 68. 4% 72. 3% 30枚 68. 7% 69. 9% 72. 5% 76. 4% 80 平均分類率(%) 75 各次元の効果 70 65 60 59. 1 61. 6 61. 9 64. 2 66. 2 背景除去の効果 72. 3 67. 9 68. 4 76. 4 相乗効果 72. 5 68. 7 69. 9 55 50 45 40 a b c d 学習 10枚　　　　　学習 20枚　　　　　 学習 30枚 CS 17 Media Laboratory, Kobe University

ご清聴ありがとうございました CS 17 Media Laboratory, Kobe University

CS 17 Media Laboratory, Kobe University

以下，質問用スライド CS 17 Media Laboratory, Kobe University

背景除去 p Saliency Map CS 17 Media Laboratory, Kobe University

繰り返し処理 Pr(Yp|B) 物体コスト Color (RGB) : Cp GMM Local texture: Tp －ln Pr(B|Yp) S: ”obj” 距離変換 背景 Pr(B) p Pr(Yp|O) Color (RGB) : Cp Local texture: Tp GMM －ln Pr(O|Yp) 距離変換 物体 T: ”bkg” 背景コスト Pr(O) CS 17 Media Laboratory, Kobe University

Kernel Learning p Single Kernel Learning p Multiple Kernel Learning CS 17 Media Laboratory, Kobe University

特徴統合 p Semi-Infinite Linear Program (SILP) CS 17 Media Laboratory, Kobe University

実験結果X CS 17 Media Laboratory, Kobe University

実験結果X ü 単体特徴量による分類結果 特徴量 平均分類率 Bag-of-Features(Do. G) 47. 3% Bag-of-Features(Grid) 51. 2% Color Features 38. 5% Gabor Features 40. 5% Multiple Kernel Learning 68. 7% 提案手法 76. 4% 学習画像枚数：　30枚 CS 17 Media Laboratory, Kobe University

実験結果X ü 学習枚数による分類率の変化 90 80 68. 7 66. 2 70 64. 2 59. 1 60 50 76. 4 72. 3 46. 747. 3 44. 1 51. 2 48. 6 45. 3 10 36. 938. 5 33. 3 40 39 40. 5 20 34. 9 30 30 20 10 0 Bo. F-Do. G Bo. F-Grid Color Gabor MKL 提案手法 CS 17 Media Laboratory, Kobe University

実験結果X ü Recall BEST 5 and WORST 5 BEST 5 Class Recall WORST 5 Class Recall 1 Pagoda 1. 000 1 Anchor 0. 194 1 Sunflower 1. 000 1 Cup 0. 194 1 Inline skate 1. 000 3 Cannon 0. 226 4 Leopards 0. 968 4 Okapi 0. 258 4 Laptop 0. 968 5 Stapler 0. 290 CS 17 Media Laboratory, Kobe University

実験結果X ü Precision BEST 5 and WORST 5 BEST 5 Class Precision WORST 5 Class Precision 1 Grand piano 0. 945 1 Anchor 0. 129 2 Inline skate 0. 934 2 Cannon 0. 132 2 Mandolin 0. 934 3 Camera 0. 209 4 Chandelier 0. 933 4 Cougar body 0. 210 5 Mayfly 0. 924 5 Cup 0. 223 CS 17 Media Laboratory, Kobe University

実験結果X ü F-value BEST 5 and WORST 5 BEST 5 Class F-value WORST 5 Class F-value 1 Inline skate 0. 9659 1 Anchor 0. 1598 2 Mayfly 0. 9512 2 Cannon 0. 1728 3 Beaver 0. 9417 3 Cup 0. 2163 4 Windsor chair 0. 9411 4 Okapi 0. 2614 5 Mandolin 0. 9345 5 Camera 0. 2745 CS 17 Media Laboratory, Kobe University

実験結果X ü F値ワースト3クラスの学習画像例 CS 17 Media Laboratory, Kobe University

実験結果X ü 繰り返しGraph Cutsの例　(Caltech 101 Datebase) 入力画像 Saliency Seed GC(1) GC(2) GC(3) CS 17 Media Laboratory, Kobe University