Sislt 1 Video ja audiosysteemin analyysi 8 1

Sisältö 1. Video- ja audiosysteemin analyysi 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 1

Video- ja audiosysteemi 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 2

Video- ja audiosysteemi Tehtävät: 1. Missä kuvan 1 kohdissa signaali kulkee analogisena ja missä kohtaa digitaalisena? 2. Missä kuvan 1 kohdissa kuva / ääni signaali kulkee kompressoituna? 3. Mitkä ovat USB, Fire. Wire ja HDMI kaapelien bittinopeudet? 4. Selvitä mitä tarkoittavat 1. 2. 3. 4. 5. HDMI Komponenttivideo S-video Komposiittivideo Selvitä HDMI standardin eri versioiden (HDMI 1. 0 – HDMI 1. 3 b) merkitys/pääsisältö. 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 3

Video- ja audiosysteemi Linkkejä edellisen kalvon tehtäviä varten: 1. 2. 3. 4. 5. Fire. Wire linkki HD-soittimet AV-vahvistimet yamaha AV-vahvistin HDMI 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 4

Kuvasensorit • • CCD vs CMOS Kuvasensorin laatu – Dynamic range – Signal to noise – Low light sensitivity 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 5

Kuvasensorit, CCD 1. Historia 2. CCD sensorin rakenne 3. Toiminta CCD 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 6

Kuvasensorit, CMOS vs CCD cmos vs ccd englannin kielinen linkki Canon CMOS kenno Tehtävä: Tutustukaa yllä olevan nettilinkin kautta Canon technology osioon ja erityisesti siellä sensor size ja noise reduction osaalueisiin. 1. Mitä suurella sensorin koolla saavutetaan ? 2. Selvitä fixed pattern ja random noise käsitteet. 3. Miten fixed pattern ja random noise poistetaan Canonin kuvasensoreissa? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 7

Tehtävä Lue annettu materiaali ja vastaa seuraaviin kysymyksiin: 1. Selitä CCD ja CMOS kennon toimintaperiaatteet 2. Millaisia sensorien ominaisuuksia (8 kpl) materiaali luettele? 3. Selitä ominaisuudet, mitä ne tarkoittavat? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 8

Kotitehtävä Miten sitten värikuvat otetaan? ? ? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 9

Kuvan skaalaus Kuvien interpolointi 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 10

MPEG 4 / AVCHD / H. 264 • • Ei pelkästään koodekki vaan kyse on pitkälti ohjelmistoarkkitehtuurista. Mitä sitten ohjelmistoarkkitehtuuri on ja mihin sillä pyritään? MPEG 4 tutorial MPEG esitelmä Lisää MPEG 4 materiaalia 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 11

MPEG 4 / AVCHD Tehtävä: Lue Why, What, How and When dokumentista WHY osuus ja vastaa seuraaviin kysymyksiin: 1. 2. 3. Mikä on television paradigm ja miksi se ei enää riitä? Miksi MPEG 4 standardi tarvitaan? Luettele asioita jotka tarvitsevat parempaa tukea kuin mitä MPEG 2 voi tarjota. Mitkä 3 teknologia-aluetta ovat lähentymässä toisiaan? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 12

MPEG 4 / AVCHD Tehtävä: Lue Why, What, How and When dokumentista WHAT osuus ja vastaa seuraaviin kysymyksiin: 1. 2. 3. Selitä omin sanoin, mitä eri ominaisuuksia standardilta vaaditaan. Selitä mitä hyötyä objekteista on. Miten MPEG 4 standardi on joustavampi kuin MPEG 2? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 13

MPEG 4 / AVCHD Tehtävä: Lue Why, What, How and When dokumentista HOW osuus ja vastaa seuraaviin kysymyksiin: 1. 2. Selitä mikä on verification model ja miten sitä käytettiin MPEG 4 standardoinnin yhteydessä. Selitä mitä olivat core experiments ja miten niitä käytettiin MPEG 4 standardoinnin yhteydessä. 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 14

MPEG 4 / AVCHD Tehtävä: Lue MPEG Systems: Overview ja vastaa seuraaviin kysymyksiin: 1. Mitkä ovat kuvan 2 (MPEG-4 Systems Architecture) kerrokset ja mikä on niiden tehtävä? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 15

MPEG 4 / AVCHD Tehtävä: Lue Delivery layer in MPEG-4 –dokumentti ja vastaa seuraaviin kysymyksiin: 1. Selitä kuva 3 (DMIF communication architecture) omin sanoin 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 16

Kuva- ja audiosignaalien prosessorit Cell Architecture explained 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 17

Prosessorin toiminta ”näytelmä” Näyttelijät (osat): • Ohjelmamuisti ja ohjelmalaskuri • Käskynselittäjä (=käskydekooderi) • Datamuisti • Rekisterit (3 kappaletta) • Laskin (=ALU Arithmetic Logic Unit) • Kello 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 18

Prosessorin toiminta ”näytelmä” Ohjelmamuistin sisältö 0: Nollataan rekisteri 1 1: Rekisteri 2 = rekisteri 1 2: Rekisteri 3 = rekisteri 1 3: Rekisteri 1 = loop_counter = 3 4: Rekisteri 2 = data_muistinosoite = 1 5: Rekisteri 3 = hae luku rekisterin 2 osoittamasta datamuistipaikasta 6: Rekisteri 2 = 0 7: Lasketaan rekisteri 3 + rekisteri 2 ja sijoitetaan tulos rekisteriin 2 8: Lasketaan rekisteri 1 – luku 1 ja sijoitetaan tulos rekisteriin 1 9: Jos rekisteri 1 > 0, niin ohjelmalaskuri = 7 10: Rekisteri 3 = datamuistin osoite = 0 11: talleta rekisterin 2 sisältö rekisterin 3 osoittamaan paikkaan datamuistissa. 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 19

Prosessorin toiminta ”näytelmä” Ohjelmamuistin sisältö Datamuistin sisältö: 0: Nollataan rekisteri 1 0: 0 1: Rekisteri 2 = rekisteri 1 1: 5 2: Rekisteri 3 = rekisteri 1 2: 0 3: Rekisteri 1 = loop_counter = 3 4: Rekisteri 2 = data_muistinosoite = 1 5: Rekisteri 3 = hae luku rekisterin 2 osoittamasta datamuistipaikasta 6: Rekisteri 2 = 0 7: Lasketaan rekisteri 3 + rekisteri 2 ja sijoitetaan tulos rekisteriin 2 8: Lasketaan rekisteri 1 – luku 1 ja sijoitetaan tulos rekisteriin 1 9: Jos rekisteri 1 > 0, niin ohjelmalaskuri = 7 10: Rekisteri 3 = datamuistin osoite = 0 11: talleta rekisterin 2 sisältö rekisterin 3 osoittamaan paikkaan datamuistissa. 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 20

Tehtävä: Entä, jos edellinen FOR luuppirakenne tehtäisiinkin ”rauta” toteutuksena? Piirrä tilakone, joka lukee ”rauta” modulin rekisteri interfacesta seuraavat tiedot: 1. FOR luupin kierrosten lukumäärä 2. Luupissa summattavan luvun arvo Ja tulostaa summan tuloksen rekisterin interfacen kolmanteen rekisteriin. 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 21

MPEG 2, MPEG 4, AVC… MPEG 2 spatial (intra) ja temporal (inter) redundancy Mitä nämä olivatkaan? ? Ja millä menetelmillä redundancy = toiste poistetaan? ? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 22

MPEG 2, MPEG 4, AVC… Tehtävä: Mitä haittaa difference (erosignaaleista) on TV: n kanavan vaihdossa? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 23

MPEG 2, MPEG 4, AVC… Tehtäviä: 1. Mitä alla oleva lohkokaavio esittää? Selitä toiminta. 2. Lohkokaavio on yksinkertaistettu. Siitä puuttuu esim DCT lohko, mihin se kuuluu? 3. Mitä tapahtuu, jos vain osa koodattavan makroblokin pikseleistä on liikkeessä ja toinen osa on vakiona pysyvää taustaa? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 24

MPEG 2, MPEG 4, AVC… Tehtäviä: Lue annettu materiaali Bi-directional koodauksesta ja vastaa kysymyksiin • • • Millaisessa tapauksessa Bi-directional koodauksesta on hyötyä? Mitä ovat I, P, B makroblokit? Miksi Bi-directional koodaus lisää viivettä dekooderin kuvaan? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 25

MPEG 2, MPEG 4, AVC… Edellä kuvatut ennustustulokset (P, B makroblokit) poistavat temporal (eri aikoina otettujen kuvien välistä) redundanssia. Miten redundanssia voitaisiin vieläkin vähentää koodatusta kuvasta? ? ? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 26

MPEG 2, MPEG 4, AVC… Elementary stream, mitä se on? ? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 27

MPEG 2, MPEG 4, AVC… Miten MPEG 4 ja AVC koodaus poikkeavat MPEG 2: sta? ? ? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 28

MPEG 2, MPEG 4, AVC… Miten MPEG 4 ja AVC koodaus poikkeavat MPEG 2: sta? ? ? 8. 1. 2009 Kuva- ja audiotekniikat / Kari Jyrkkä 29