Laaduntarkastuslaitteen visuaalinen opettaminen Olli Silvn Oulun yliopisto olli

Laaduntarkastuslaitteen visuaalinen opettaminen Olli Silvén, Oulun yliopisto olli. silven@oulu. fi, www. ee. oulu. fi/mvg 18. 10. 2002 Heinola Machine Vision Group Department of Electrical and Information Engineering

Konenäkömenetelmä kuvanmuodostus esikäsittely tunnistustulokset segmentointi piirteiden irrotus tunnistus ja tulkinta • valaisun tasoitus • taustan poisto • muoto (2 D/3 D) • kohteiden tunnistus • värien korjaus • liittyvyysanalyysi • väri • kohderyhmien tunnistus • värimuunnokset • kohteiden ilmaisu • tekstuuri • suodatus Machine Vision Group Department of Electrical and Information Engineering

Sahatavaran laadutuksen problematiikkaa (1) • • • ulkonäöltään vaihteleva materiaali vaihtelevat ulkonäkökriteerit kasvupaikka vaikuttaa ulkonäköön: kloonitkin eroavat. . . Machine Vision Group Department of Electrical and Information Engineering

Sahatavaran laadutuksen problematiikkaa (2) • standardien biologinen ominaisuuksien luokittelu • konenäkö mahdollistaa vain ulkonäköperusteisen luokittelun Terveitä oksia Kuivia oksia Machine Vision Group Department of Electrical and Information Engineering

Sahatavaran laadutuksen problematiikkaa (3) • laadutuksen yhdistäminen sahauksen optimointiin(? ) (kuva R&R Nordic Oy: n luvalla, kuvaaja Risto Ihatsu) Machine Vision Group Department of Electrical and Information Engineering

Laaduntarkastuslaitteen opettaminen: oppikirjaratkaisu 1. Kerätään ja nimetään edustava joukko näytteitä 2. Opetetaan luokittelija 3. Käynnistetään laaduntarkastus… Ongelmat: • virittäminen ja uudelleenopetus voi olla ylivoimaisen työlästä • ihmisen tekemä nimeäminen ei aina ole johdonmukaista näytteiden keruu vikanäytteet näytteiden nimeäminen vikojen ilmaisu piirteiden laskenta “oppikirjaluokittelija” Machine Vision Group Department of Electrical and Information Engineering luokitellut viat

Oppia kantapään kautta eli laaduntarkastustutkimusta 1983 Piirilevyjen tarkastustekniikka (1983 -1987) • CAD-mallista lähtevä vertailu + ei tarvinnut opetusta! Metallipintojen tarkastustekniikka I (1986 -199 X) • perinteinen ”blobi”-analyysimenetelmä - opetus näytteiden avulla. . . Puupintojen tarkastustekniikka (1986, 1992 -1999) • perinteinen ”blobi”-analyysi + väri-tieto - opetus näytteiden avulla. . . Machine Vision Group Department of Electrical and Information Engineering

Puupintojen tarkastustutkimuksen alkuvaiheita • puun ominaisuuksien ymmärtämisen opiskelua • lopulta 120 000 käsin luokiteltua näytettä Machine Vision Group Department of Electrical and Information Engineering

Puupintojen tarkastustustutkimuksen tuloksia • Asiantuntijoiden tekemän laadutuksen yhdenmukaisuus: 70%. . . • Oksien opetus asiantuntijoiden valmistelemalla näytteistöllä: 80% tarkkuus • Johtopäätös: onko erikseen nimetyillä näytteillä opettaminen järkevää? • heikko tarkkuus & valtava työmäärä. . . • Arvokas tulos: tehokkaat väripiirteet Väricentilen määritys esim. sininen 10% N Värihistogrammi 90% 10% intensiteetti 10% centile Machine Vision Group Department of Electrical and Information Engineering

Laaduntarkastuslaitteen opettaminen: teollinen ratkaisu 1. Toteutetaan sääntöpohjainen luokittelija 2. Määritetään sääntöjen parametrit 3. Käynnistetään laaduntarkastus… Ongelmat: • virittäminen vaatii tietoa luokittelijasta, mikä voi olla hidasta oppia parametrien viritys vikojen ilmaisu piirteiden laskenta sääntöpohjainen luokittelija Machine Vision Group Department of Electrical and Information Engineering huomatut luokitteluvirheet luokittelutulos

Opetusnäyteongelma Machine Vision Group Department of Electrical and Information Engineering Nimeä näytteet!

Uusi opetusratkaisu: visuaalinen opettaminen 1. Klusteroidaan ilmaisun tuottamat näytteet esim. SOM-kartalle 2. Määrätään luokkarajat kartalle 3. Käytetään karttaa luokitteluun Ongelma: • SOMin opetus saattaa vaatia näytemateriaalin valintaa = työtä klusterien nimeäminen vikojen ilmaisu tai jopa kaikki näytteet! piirteiden laskenta näkymä klustereihin luokittelu & visualisointi SOM (2 -D-esitys) Machine Vision Group Department of Electrical and Information Engineering luokittelutulos

SOM kuvaa korkeaulotteisen data-avaruuden matalaulotteiseksi naapuruston säilyttäväksi verkoksi N-ulotteinen data-avaruus SOM Piirre 2 Piirre 3, … Piirre 1 Piirre N Machine Vision Group Department of Electrical and Information Engineering Piirre 2, …

SOM-pohjainen visuaalinen tarkastusmenetelmä Tunnistusmenetelmä Käyttöliittymä kuvadata tulokset Machine Vision Group Department of Electrical and Information Engineering

Itseorganisoivan kartan klustereiden sisältöä Ilmeisiä kuivia oksia Ilmeisiä terveitä oksia Halkeamia Machine Vision Group Department of Electrical and Information Engineering

Visuaalisen opetuksen käyttöliittymä Machine Vision Group Department of Electrical and Information Engineering

Visuaalisen opetuksen jatkokehitys (1) Visuaalisen opetuksen perusideat: • opetusnäytteet esitetään kuvakarttana, jossa samankaltaiset sijaitsevat lähekkäin ja erilaiset kaukana toisistaan • ei yksittäisten opetusnäytteiden nimeämistä – virhealttius vähenee • ihminen päättää kartan perusteella luokkarajoista • kartta on ”koneen näkymä dataan” - auttaa ihmistä ymmärtämään Machine Vision Group Department of Electrical and Information Engineering

Visuaalisen opetuksen jatkokehitys (2) SOMilla on heikkoutensa: • harvinaiset viat ja piirreavaruuden reunat jäävät aliedustetuiksi • piirteiden skaalaus saattaa tehdä piirreyksityiskohdista merkityksettömiä • kuvaus moniulotteisesta kaksiulotteiseksi ei välttämättä ole aina selkeä Muita visualisointi- ja ulottuvuuksienvähennysmenetelmiä: – PCA, Principal component analysis – MDS, Multidimensional scaling – ISOMAP, Isometric feature mapping – LLE, Locally linear embedding – GTM, Generative topographic mapping Machine Vision Group Department of Electrical and Information Engineering

Esimerkki ISOMAPin soveltamisesta puunäytteille Machine Vision Group Department of Electrical and Information Engineering

Tulevaisuuden visio • materiaali opitaan ilman ihmisen tekemää valintaa hyvin yksinkertainen käyttöliittymä • laadutus yhdistyy sahausprosessiin vaihtoehto tomografialle (kuva R&R Nordic Oy: n luvalla, kuvaaja Risto Ihatsu) Machine Vision Group Department of Electrical and Information Engineering

Muita visuaalisen opetuksen sovellutuskohteita paperi ruoka-aineet metallipinnat kasvispektrografia Machine Vision Group Department of Electrical and Information Engineering