PUHETEKNOLOGIA RIKOSTEN TUTKINNASSA Tuija NiemiLaitinen TutkijaTekninen osasto Rikostekninen

PUHETEKNOLOGIA RIKOSTEN TUTKINNASSA ______________ Tuija Niemi-Laitinen Tutkija/Tekninen osasto Rikostekninen laboratorio Keskusrikospoliisi

ÄÄNI JA LAATU • rikostekninen laboratorio antanut äänilausuntoja vuodesta 1995 alkaen • 3 akkreditoitua menetelmää 2003 • ensimmäisenä maailmassa! Keskusrikospoliisi 10/24/2021

ÄÄNITUTKIMUKSEN MAHDOLLISUUDET • • puhenäytteiden vertailu ja/tai profilointi puheen ymmärrettävyyden parantaminen foneettinen analyysi (transkriptio) taustaäänien analyysi Keskusrikospoliisi 10/24/2021

ÄÄNTÄ ON KAIKKIALLA • digitaaliset äänitiedostot (hätäkeskus, poliisi) • teknisen tarkkailun äänet • telekuuntelun äänet • valvontakameroiden äänet • vastaajapalvelut • sanelukoneet • jne. Keskusrikospoliisi 10/24/2021

1. ÄÄNENLAADUN PARANNUS • suodattamalla ja vahvistamalla eri tekniikoilla • puhelun taustaäänien parannus • teknisen tarkkailun äänien parannus Keskusrikospoliisi 10/24/2021

2. PUHESISÄLLÖN SELVITYS • selvitetään ja kirjataan lausunnon liitteelle kaikki tutkinnan alla olevat kohdat äänitallenteella • myös tausta- ja mekaaniset äänet merkitään • voidaan myös ”kellottaa” tapahtumien kulkua Keskusrikospoliisi 10/24/2021

3. PUHENÄYTTEIDEN VERTAILU =puhujantunnistus • epäilty kiistää puhuvansa äänitallenteella • verrataan kiistettyä ääninäytettä ja vertailunäytettä • SAMA VAI ERI PUHUJA? Keskusrikospoliisi 10/24/2021

SAMA VAI ERI PUHUJA? Menetelmät: • auditiivinen • akustinen • automaattinen analyysi -> piirteiden vertailu -> johtopäätös: millä todennäköisyydellä puhujat ovat sama (tai eri) puhuja Keskusrikospoliisi 10/24/2021

JOHTOPÄÄTÖSASTEIKKO • A • B • C • D • E • F Keskusrikospoliisi Erittäin todennäköisesti sama puhuja Todennäköisesti sama puhuja Viitteitä samasta puhujasta Ei johtopäätöksiä Viitteitä eri puhujista Erittäin todennäköisesti eri puhujat 10/24/2021

AKUSTINEN ANALYYSI PRAAT-ohjelma • puheen perustaajuuden keskiarvo, mediaani, hajonta, minimi ja maksimiarvot • puheen pitkäaikaiskeskiarvospektri LTAS (korrelaatio + kuvaaja) • äänteiden vertailut [a], [e], [i] SIVE (Speaker Identification and Verification) • puheen perustaajuuden mittausarvojen korrelaatio • jakaumien visuaalinen vertailu Win. SProfiler • puheesta laskettujen piirrevektorien automaattinen vertailu • epäiltyjen äänirekisteri olemassa (näytteet v. 2000 -2005) • normaalipuhujien tietokanta (USIX: 100 puhujaa) Keskusrikospoliisi 10/24/2021

Keskusrikospoliisi 10/24/2021

PUMS-projekti Puheenkäsittelyn Uudet Menetelmät ja Sovellukset • Tutkijatahot: – Joensuun yliopisto/ tietojenkäsittely – Helsingin yo/ puhetieteet, kieliteknologia, käännöstiede – Helsingin TKK/ akustiikka, informaatiotekniikka, – Tampereen Tekn. yo/ signaalinkäsittely – Tampereen yo/ tietojenkäsittely – Turun yo/ fonetiikka, informaatiotekniikka – VTT/ tuotteet ja tuotanto Keskusrikospoliisi 10/24/2021

PUMS-projekti Puheenkäsittelyn Uudet Menetelmät ja Sovellukset • Rahoittajatahoja: - Keskusrikospoliisi - Ilmavoimat - Näkövammaisten Keskusliitto - Kone Oyj - HKL - Kouvolan Seudun Kuntayhtymä - ICT-Turku - Lingsoft Oy - Sanako Oy - Bitlips Oy Keskusrikospoliisi 10/24/2021

PUMS-projekti • KRP mukana rahoittamassa 2003 -2007 -> automaattinen puheentunnistus • etsii kohdat, joissa puhetta/hälyä • etsii kohdat, joissa puhuja vaihtuu • avainsanat -> automaattinen puhujantunnistus Keskusrikospoliisi 10/24/2021

MITÄ ON SAATU? • tutkimustietoa ja • menetelmäkehitystä, esim. – Praat-ohjelman skriptejä, jotka helpottavat analyysityötä laboratoriossa (Puhetieteet/HY) – puheen automaattinen segmentointi-ohjelma – automaattisesti segmentoituja äänitiedostoja – puoliautomaattinen puhujantunnistus-ohjelma ”Win. SProfiler” – kehitelty Joensuussa (http: //cs. joensuu. fi/sipu/) Keskusrikospoliisi 10/24/2021

Keskusrikospoliisi 10/24/2021

Keskusrikospoliisi 10/24/2021

Automaattisen tunnistajan tuloksia Taulukko 1. Oikean puhujan tunnistustarkkuus forensisilla puhenäytteillä (näytteet GSM-puhelimen kautta, ajoittain häiriöisiä, kestot vaihtelee 5 sekunnista - useita minuutteja)* • 1. sijalle • 1. -3. • 1. -5. 68. 9 % 82. 0 % 85. 2 % *Niemi-Laitinen, T. , Saastamoinen, J. , Kinnunen, T. & Fränti, P. (2005) Applying MFCC-based Automatic Speaker Recognition in GSM and Forensic Data. In M. Langemets & P. Penjam (eds) Proceedings of the Second Baltic Conference on Human Language Technologies Tallinn, Estonia, April 4 -5. 2005, 317 -322. Keskusrikospoliisi 10/24/2021

MUUTA HYÖDYLLISTÄ • verkottumista tutkijoiden kanssa • suora palaute tutkijalle -> lisätutkimukset -> testaukset -> tieto hyötykäyttöön • yhteistyö KRP: n sisällä: teknisen asiantuntijapalvelun (TAP) ja laboratorion (RTL) äänitutkimusten välillä Keskusrikospoliisi 10/24/2021

MITÄ HALUTAAN LISÄÄ… • puheentunnistin, joka tunnistaa avainsanat ja puhujan vaihtumisen • myös jatkuvasta puheesta on-line! • automaattinen, luotettava, moniparametrinen puhujantunnistus-ohjelma, off-line ja on-line! Keskusrikospoliisi 10/24/2021

MIKÄ LIENEE MAHDOLLISTA PUHEENTUNNISTUKSESSA -2007 • puheen/hälyn tunnistin • avainsanojen haku Keskusrikospoliisi 10/24/2021

…PUHUJANTUNNISTUKSESSA • Win. SProfilerin kehittäminen moniparametriseksi systeemiksi, off-line • Praat-ohjelman Com. Pair –skriptin kehttäminen niin, että ilmaisee kahden verrattavan näytteen etäisyyden toisiinsa ja suhteessa kahteen vertailutietokantaan ”normaalipuhujat” ja ”epäillyt henkilöt” -> bayesilainen päättely Keskusrikospoliisi 10/24/2021

BAYES’ THEOREM Keskusrikospoliisi 10/24/2021

Likelihood ratios and their explanations Keskusrikospoliisi RATIO: PROBABILITY: 1 to 10 10 to 1000 > 1000 Weak Moderate Strong Very strong 10/24/2021

”NORMAALIPUHUJIEN” vertailuäänitietokanta • 200 puhujan tietokanta kerätty (USIX-hanke) • näistä käyttökelpoisia n. 100 • tietokannan puhujien piirteet edustavat keskiarvoja, joihin uusia tapauksia verrataan • tutkimuskäytössä tällä hetkellä Keskusrikospoliisi 10/24/2021

EPÄILTYJEN vertailuäänitietokanta • • löytyykö epäilty tietokannasta vai onko uusi? piirteiden irrotus tallennus vektoreina haku tietokannasta off-line, on-line • ÄÄNI EI TALLENNU, paitsi jos halutaan varmennustietokanta lisätutkimuksia varten Keskusrikospoliisi 10/24/2021

POLIISI SAA… • tallentaa rekisteröitävien, syylliseksi epäiltyjen henkilöiden puhetta (Pakkokeino. L 6: 4 §) • taltioida kuulusteluja esitutkinnan yhteydessä (Esitutkinta. L 39 §) • tallentaa äänimateriaalia telekuuntelutoimintaa tai teknistä tarkkailua suorittaessaan (Pakkokeinolain 5 a luvun 2 ja 4 §§ sekä Poliisilain 31 § 3 mom. ) • tallentaa äänimateriaalia kadonneisiin henkilöihin tai kuolemansyyn selvittämiseen liittyen (Poliisi. L 15 ja 38 §§ sekä laki kuolemansyyn selvittämisestä 7 luvun 7 §) Keskusrikospoliisi 10/24/2021