D Part 3 2016 4 DWebpage http www

電気・通信・電子・情報 学実験D 確率的情報処理の基礎技術 Part 3 (2016年 4月) 本実験DのWebpage: http: //www. smapip. is. tohoku. ac. jp/~kazu/ECEI-Experiment. D/2016/ 東北大学 大学院情報科学研究科 田中 和之 kazu@smapip. is. tohoku. ac. jp http: //www. smapip. is. tohoku. ac. jp/~kazu/ April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 1

本講義の参考文献 田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009. 田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計 力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006. 安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリー ズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第 6章．大 規模確率場と確率的画像処理の深化と展開，pp. 137 -179, アドコム・メディア 株式会社, December 2010. Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol. 35, no. 37, pp. R 81 -R 150, 2002. C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007. M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001. H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, --An Introduction---, Oxford University Press, 2001. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009. April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 2

扱いやすい確率モデルのグラフ表現 A 周辺確率のメッセージを用いた表現 C A C C C E B Step 1 A D D C B D E B F E D A E C C E E F B Step 3 C A A C C B April, 2016 E F F Step 2 C E E A C B D D E E B 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] C D E E F C E F F 53

確率伝搬法 (Belief Propagation) 閉路のないグラフ上の確率モデル 3 3 1 1 6 5 2 2 1 2 4 1 4 2 6 5 April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 56

周辺確率(Marginal Probability) April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 63

周辺確率(Marginal Probability) 2 April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 64

周辺確率(Marginal Probability) 2 April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 2 65

周辺確率(Marginal Probability) April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 66

周辺確率(Marginal Probability) 1 April, 2016 2 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 67

周辺確率(Marginal Probability) 1 April, 2016 2 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 1 2 68

正方格子によるグラフ表現をもつ 確率モデルの確率伝搬法(Belief Propagation) 3 2 1 4 5 Message Update Rule 8 2 1 6 April, 2016 7 4 3 8 1 2 5 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 7 6 72

Fixed Point Equation and Iterative Method Fixed Point Equation April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 76

Fixed Point Equation and Iterative Method Fixed Point Equation Iterative Method April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 77

Fixed Point Equation and Iterative Method Fixed Point Equation Iterative Method April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 78

Fixed Point Equation and Iterative Method Fixed Point Equation Iterative Method April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 79

Fixed Point Equation and Iterative Method Fixed Point Equation Iterative Method April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 80

Fixed Point Equation and Iterative Method Fixed Point Equation Iterative Method April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 81

Fixed Point Equation and Iterative Method Fixed Point Equation Iterative Method April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 82

確率伝搬法の参考文献 田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006. 田中和之著: ベイジアンネットワークの統計的推論の数理, コロ ナ社, 2009. M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008. M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009. April, 2016 電気・通信・電子・情報 学実験D [Kazuyuki Tanaka Part 3] 85