Struktra predikci pr 21 Struktra predikci minta IID

Struktúra predikció ápr. 21.

Struktúra predikció • minta IID feltevésének elvetése • Felügyelt tanulási probléma – Egyedek = struktúrák • Struktúra lehet – Szekvencia – Fa, gráf

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

slide copyright of Nicolas Nicolov

Szekvenciajelölés Legegyszerűbb struktúra Példa: Minden képkockához rendeljük, hozzá, hogy milyen cselekvést végez az alany

Rejtett Markov Modellek

Rejtett Markov Modellek • Diszkrét Markov Folyamat – Adott N állapot, a rendszer minden időpontban az egyik állapotban van – jelentése, hogy a t-dik időpillanatban a rendszer az Si állapotban van

Rejtett Markov Modellek • A rendszer állapota a megelöző állapotoktól függ: • Elsőrendű Markov Modell esetén:

Átmeneti valószínűségek Tfh. az átmeneti valószínűségek függetlenek az időtől: Kezdeti valószínűségek:

Megfigyelési valószínűségek • Az qt állapotok rejtettek, nem megfigyelhetőek. Viszont rendelkezésre áll egy megfigyelési szekvencia. Amit meg tudunk figyelni annak M értéke lehet: • megfigyelései (emissziós) valószínűség:

Rejtett Markov Modellek

RMM példa Tőzsdei előrejelzés S = {derűs, borús, stagnáló} hangulat O = {emelkedő, csökkenő} árfolyam

A RMM három feladata 1. Ismert λ valószínűségek mellett mi egy megfigyeléssorozat előfordulásának valószínűsége? 2. Ismert λ valószínűségek mellett mi a legvalószínűbb rejtett állapot-szekvencia egy megfigyelés-sorozathoz? argmax 3. tanító adatbázis alapján becsüljük meg a λ valószínűségeket !

Kiértékelési (1. ) feladat • Adott λ és , =?

Kiértékelési (1. ) feladat időigény: O(NTT) Forward(-backward) algoritmus erre: forward változók: rekurzív eljárással számítható inicializálás:

Forward algoritmus időigény: O(N 2 T)

Legvalószínűbb szekvencia megtalálása (2. feladat) • Adott λ és , argmax P(Q| λ, O) =? Viterbi algoritmus Dinamikus programozás δt(i) a legvalószínűbb 1. . t szekvencia valószínűsége ahol qt=Si

Viterbi algoritmus

Rejtett Markov Modellek

RMM tanulása (3. feladat) • Adott (ha Q is ismert lenne simán relatív gyakoriságokkal becsülhetnénk) • Maximum likelihood: argmax

Diszkriminatív szekvencia jelölők

Diszkriminatív szekvencia jelölők P(D|c) P(c|D)

Diszkriminatív szekvencia jelölés

Diszkriminatív szekvencia jelölés

Viterbi diszkriminatív szekvencia jelölőkhöz • inicializáció:

Maximum Entrópia Markov Modell MEMM • MEMM egy diszkriminatív szekvencia jelölő • Tanítás: P(y|xi, yi-1) osztályozó

Conditional Random Fields Egyetlen feltételes (exponenciális) modell ami az egész eseményegyüttest kezeli

CRF tanulás gradiens alapú módszerek…

Struktúrált perceptron • online tanulás • aktuális paraméterekkel (az egész struktúrára vonatkozik a jellemzőtér) dekódolás • ha nem egyezik az elvárt struktúrával frissítjük a modellt • frissítés a két jellemzővektor különbségével

Struktúrált perceptron Viterbi dekóder szekvenciajelölésnél: Paraméterek frissítése:

A szekvenciákon túl. . .

Fa predikcó - PCFG

Fa predikció – CYK algoritmus

Összegzés • Struktúra predikció – Pl: szekvencia jelölés • Rejtett Markov Modellek • Diszkriminatív szekvencia jelölők (MEMM, CRF, struktúrált perceptron)