REPRESENTASI DATA MULTIMEDIA VIDEO DAN KOMPRESI MULTIMEDIA PPs

REPRESENTASI DATA MULTIMEDIA: VIDEO DAN KOMPRESI MULTIMEDIA PPs MKOM – Teknologi Informasi 1

Pengolahan Citra Digital: Konsep Dasar Representasi Citra Dr. Ir. Sumijan, M. Sc MULTIMEDIA 2

Media Representation • • • Text Image Audio Video Animation MULTIMEDIA PPs MKOM – Teknologi Informasi

Image representation • Digital image is a 2 -d array of pixels • Pixel is represented by bits in “color” space – RGB (Red-Green-Blue) in CRT • additive color – CMY(Cyan-Magenta-Yellow) in printing • subtractive color – YUV for black-white/color TV • luminance/chrominance MULTIMEDIA PPs MKOM – Teknologi Informasi 4

How we get digital video frames? • synthesis (usually by computer program) • sampling (an analog video signal) MULTIMEDIA PPs MKOM – Teknologi Informasi

Type of Color Video Signal Component video --each primary is sent as a separate video signal. • RGB atau luminance-chrominance (mis: YIQ, YUV). • Reproduksi warna terbaik • Membutuhkan bandwidth dan sinkronisasi dari 3 komponen Composite video -- color (chrominance) and luminance signals are mixed into a single carrier wave. S-Video (Separated video, e. g. , in S-VHS) -- a compromise between component analog video and the composite video. It uses two lines, one for luminance and another for composite chrominance signal. MULTIMEDIA PPs MKOM – Teknologi Informasi

Tabel Warna • • • Tabel Warna adalah kode yang memetakan indeks dengan warna tertentu Setiap sample gambar (pixel) berisi sebuah indek (terdiri dari bi-bit) dari Tabel Warna Semakin banyak bit per indeks, semakin kaya warna yang dimungkinkan, namun semakin boros bit digunakan per gambar MULTIMEDIA PPs MKOM – Teknologi Informasi

Additive Color RGB Magenta White Blue Red Cyan Yellow Green MULTIMEDIA PPs MKOM – Teknologi Informasi

Hue-Saturation-Brightnes A. Saturation B. Hue C. Brightness D. All hues MULTIMEDIA PPs MKOM – Teknologi Informasi

Video representation • Video is a sequence of images – displayed at a certain rate MULTIMEDIA PPs MKOM – Teknologi Informasi 10

Sinyal Video Digital MULTIMEDIA PPs MKOM – Teknologi Informasi

OBJEK: VIDEO • • • Line Video Feed Videodisc: CAV, CLV Videotape: VHS, 88 mm, Betacam Digital Video DVD Hypervideo • Standar Video Analog: NTSC, PAL, SECAM dan HDTV • Standar Video Digital: SIF, CIF, QSIF • Format File Video: AVI, MOV, MPEG, DAT, RM, SW, DLL MULTIMEDIA PPs MKOM – Teknologi Informasi

Format Video Analog (Televisi) • NTSC (National Television Standards Committee): – – – 525 baris, 60 Hz refresh rate. 720 pixel per baris Digunakan di Amerika, Korea, Jepang, dan Canada. Frame rate 30 fps Menggunakan format YIQ • PAL (Phase Alternate Line): – – – 625 baris, 50 Hz refresh rate 720 pixel per baris Digunakan di sebagian besar Eropa Barat. Frame rate: 25 fps Menggunakan format YUV. MULTIMEDIA PPs MKOM – Teknologi Informasi

• SECAM (Sequintial Colour and Memory System) Séquentiel couleur avec mémoire – Digunakan di Perancis, Rusia, dan Eropa timur – Berdasarkan frequency modulation dengan 25 Hz refresh rate dan 625 baris. • HDTV (High Definition TV) – Standar televisi baru dengan gambar layar lebar, lebih jernih dan suara kualitas CD Auido. – Aspek ratio 16: 9 dibandingkan dengan sistem lain 4: 3. – Resolusi terdiri dari 1125 (1080 baris aktif) baris MULTIMEDIA PPs MKOM – Teknologi Informasi

Interlace Scan • Adalah metode untuk menampilkan image/gambar dalam rasterscanned display device seperti CRT televisi analog, yang ditampilkan bergantian antara garis ganjil dan genap secara cepat untuk setiap frame. • Refresh rate yang disarankan untuk metode interlaced adalah antara 50 -80 Hz. • Interlace digunakan di sistem televisi analog: NTSC, PAL, SECAM MULTIMEDIA PPs MKOM – Teknologi Informasi

Progressive Scan • Adalah metode untuk menampilkan, menyimpan, dan memancarkan gambar dimana setiap baris untuk setiap frame digambar secara berurutan. Biasa digunakan pada CRT monitor komputer. MULTIMEDIA PPs MKOM – Teknologi Informasi

Mode Interlacing dan Consecutive • Mode Progressive/Consecutive (non interlacing) • Mode Interlacing MULTIMEDIA PPs MKOM – Teknologi Informasi

MULTIMEDIA PPs MKOM – Teknologi Informasi

Video Digital • Video digital disimpan dalam media penyimpanan random (mis: magnetic/ optical disk). • Sedangkan video analog penyimpanan sekuensial, (mis: magnetic disc/kaset video. • waktu akses yang cepat dalam mengakses bagian manapun dari video. • Mudah dalam proses edit MULTIMEDIA PPs MKOM – Teknologi Informasi

Video Digital • Kualitas: sinyal analog dari video analog akan mengalami penurunan kualitas secara perlahan karena pengaruh kondisi atmosfer. Sedangkan video digital kualitasnya dapat diturunkan menggunakan teknik kompresi. • Transmisi dan distribusi mudah karena dengan proses kompresi, maka video digital dapat disimpan dalam CD, ditampilkan pada web, dan ditransmisikan melalui jaringan. • Video Digital biasanya menggunakan Component Color MULTIMEDIA PPs MKOM – Teknologi Informasi

Representasi Visual • Tujuan utamanya adalah agar orang yang melihat merasa berada di scene (lokasi) atau ikut berpartisipasi dalam kejadian yang ditampilkan. • Suatu gambar harus dapat menyampaikan informasi spatial dan temporal dari suatu scene. • Spatial dimensi 2 D (lebarxtinggi) • Temporal dimensi waktu MULTIMEDIA PPs MKOM – Teknologi Informasi

Representasi Visual 1. Vertical Detail dan Viewing Distance. • Aspek rasio adalah perbandingan lebar dan tinggi, yaitu 4: 3. Tinggi gambar digunakan untuk menentukan jarak pandang dengan menghitung rasio viewing distance (D) dengan tinggi gambar (H) -> D/H. • Setiap detail image pada video ditampilkan dalam pixel-pixel. MULTIMEDIA PPs MKOM – Teknologi Informasi

2. Horizontal Detail dan Picture Width. Lebar gambar pada TV konvensional = 4/3 x tinggi gambar. 3. Total Detail Content Resolusi vertikal = jumlah elemen pada tinggi gambar Resolusi horizontal = jumlah elemen pada lebar gambar x aspek rasio. Total pixel = pixel horizontal x pixel vertikal. MULTIMEDIA PPs MKOM – Teknologi Informasi

Karakteristik Spasial MULTIMEDIA PPs MKOM – Teknologi Informasi

4. Perception of Depth. Dalam pandangan / penglihatan natural, kedalaman gambar tergantung pada sudut pemisah antara gambar yang diterima oleh kedua mata. Pada layar flat, persepsi kedalaman suatu benda berdasarkan subject benda yang tampak. 5. Warna Gambar berwarna dihasilkan dengan mencampur 3 warna primer RGB (merah, hijau, biru). MULTIMEDIA PPs MKOM – Teknologi Informasi

Properti warna pada sistem broadcast: • LUMINANCE – Brightness = jumlah energi yang menstimulasi mata grayscale (hitam/putih). • CHROMINANCE adalah informasi warna. – Hue (warna) = warna yang ditangkap mata (frekuensi) – Saturation = color strength (vividness) / intensitas warna. – Cb = komponen U dan Cr = komponen V pada sistem YUV MULTIMEDIA PPs MKOM – Teknologi Informasi

6. Continuity of Motion. Mata manusia melihat gambar sebagai suatu gerakan kontinyu jika gambar-gambar tersebut kecepatannya lebih besar dari 15 frame/det. Untuk video motion biasanya 30 frame/detik, sedangkan movies biasanya 24 frame/detik. 7. Flicker. Untuk menghindari terjadinya flicker diperlukan kecepatan minimal melakukan refresh 50 cycles/s. MULTIMEDIA PPs MKOM – Teknologi Informasi

Transmisi • Sistem broadcast menggunakan channel yang sama untuk mentransmisikan gambar berwarna maupun hitam putih. • Untuk gambar berwarna sinyal video dibagi menjadi 2 sinyal, 1 untuk luminance dan 2 untuk chrominance. Sehingga sinyal Y, Cb, Cr harus ditransmisikan bersama-sama (composite video signal) MULTIMEDIA PPs MKOM – Teknologi Informasi

RGB -> YUV • Dalam sistem PAL, digunakan parameter U (Cb) dan V (Cr) • Konversi – Y = 0. 299 R + 0. 587 G + 0. 114 B (luminance) – U = 0. 492 (B – Y) (chrominance) atau • U = – 0. 148 R – 0. 289 G + 0. 437 B – V = 0. 877 (R – Y) (chrominance) atau • V = 0. 615 R – 0. 515 G – 0. 100 B • Inversi – : R = Y + 1. 14 V – : G = Y – 0. 394 U – 0. 581 V – : B = Y + 2. 032 U MULTIMEDIA PPs MKOM – Teknologi Informasi

RGB -> YIQ • Dalam sistem NTSC, digunakan parameter I, singkatan dari in-phase (Cb) dan Q, singkatan dari quadrature (Cr) • Konversi – Y = 0. 299 R + 0. 587 G + 0. 114 B – I = 0. 74 (R – Y) – 0. 27 (B – Y) – Q = 0. 48 (R – Y) + 0. 41 (B – Y) • atau – I = 0. 596 R – 0. 274 G – 0. 322 B – Q = 0. 211 R – 0. 523 G + 0. 311 B • Inversi – R = Y + 0. 956 I + 0. 621 Q – G = Y – 0. 272 I – 0. 649 Q – B = Y – 1. 106 I + 1. 703 Q MULTIMEDIA PPs MKOM – Teknologi Informasi

RGB-SECAM Color Converter • Konversi – : Y = 0. 299 R + 0. 587 G + 0. 114 B – : Db = – 0. 450 R – 0. 833 G + 1. 333 B – : Dr = – 1. 333 R + 1. 116 G – 0. 217 B • Inversi – : R = Y – 0. 526 Dr – : G = Y – 0. 129 Db + 0. 268 Dr – : B = Y + 0. 665 Db MULTIMEDIA PPs MKOM – Teknologi Informasi

DIGITAL VIDEO FORMAT • CCIR-601/625 (Eropa) - jumlah garis 625 (aktif 576) - jumlah frame per detik 25 - jumlah pixel per garis 720 • CCIR-601/525 (USA) - jumlah garis 525 (aktif 480) - jumlah frame per detik 30 - jumlah pixel per garis 720 total pixel per detik = 10. 368. 000 bit rate = 165, 888, 000 bit/s bandwidth total = 216 Mbit/s MULTIMEDIA PPs MKOM – Teknologi Informasi

DIGITAL VIDEO FORMAT • CCIR-601 untuk kualitas broadcats MULTIMEDIA PPs MKOM – Teknologi Informasi

DIGITAL VIDEO FORMAT SIF (Source Input Format) • Eropa: 360 pixel/garis, 288 garis per gambar, 25 gambar perdetik • USA : 360 pixel/garis, 240 garis per gambar, 30 gambar per detik • Scanning : progressive • Pola sampling 4: 2: 0 CCIR-601 MULTIMEDIA SIF PPs MKOM – Teknologi Informasi

DIGITAL VIDEO FORMAT CIF (Common Intermediate Format) • Eropa/USA: 360 pixel/garis, 288 garis per frame, 30 frameperdetik • Scanning : progressive • Pola sampling 4: 2: 0 QSIF, QCIF • untuk aplikasi video over mobile networks, video telephony kurangi rate Eropa : 15, 10 dan 7, 5 frame/s USA 12, 5 dan 8, 3 frame/s • Resolusi spatial dikurangi setengahnya untuk tiap arah Quarter. SIF (QSIF) dan Quarter-CIF (QCIF) Sub-QCIF • 128 pixel x 96 pixel, 5 frame/sec, 4: 2: 0 ukuran image standar paling kecil MULTIMEDIA PPs MKOM – Teknologi Informasi

MULTIMEDIA PPs MKOM – Teknologi Informasi

Digital Video Compression • • CCIR-601 untuk broadcast tv. MPEG-4 untuk video online MPEG-2 untuk DVD dan SVCD MPEG-1 untuk VCD MULTIMEDIA PPs MKOM – Teknologi Informasi

• Software for editing digital video • • • Apple Quick. Time Adobe Premiere Strata Videoshop Video Action Pro True. Space 3 D Ulead Video Editor MULTIMEDIA PPs MKOM – Teknologi Informasi

Software Video Digital Player • • Quick. Time, Windows Media Player, Zoom. Player, Div. XPro, Real. One Player, Xing Mpeg Player, Power. DVD MULTIMEDIA PPs MKOM – Teknologi Informasi

Format File Video • • • asf Advanced Systems Format asx Microsoft ASF Redirector File avi Audio Video Interleave File mov Apple Quick. Time Movie movie Quick. Time Movie No mp 4 MPEG-4 Video File mpe MPEG Movie File mpeg Moving Picture Experts Group Video File mpg Moving Picture Experts Group File qt Apple Quick. Time Movie rm Real Media MULTIMEDIA PPs MKOM – Teknologi Informasi

3 g 2 3 GPP Multimedia File 3 gpp 3 GPP Multimedia File 3 mm 3 D Movie Maker Movie avs Application Visualization System Format byu Brigham Young University Movie dir Macromedia Director Movie dv Digital Video File dvr-ms Microsoft Digital Video Recording dxr. Protected Macromedia Director Movie MULTIMEDIA Fla Macromedia Flash Animation Flc FLIC Animation Fli FLIC Animation Flv Flash Video Flx FLIC Animation Gl GRASP Animation Grasp GRASP Animation Ifo DVD-Video Disc Information Ivf Intel Video Format ivs. Internet Streaming Video PPs MKOM – Teknologi Informasi

. lsf Streaming Media Format . lsx Streaming Media Shortcut . m 1 v MPEG-1 Video File . m 4 e MPEG-4 Video File . m 4 u MPEG-4 Playlist . mkv Matroska Audio/Video File . moov Apple Quick. Time Movie . mpv 2 MPEG-2 Video Stream MULTIMEDIA . mvc Movie Collector Catalog . nvc Nero. Vision Express Project. omf Open Media Framework . prx Windows Media Profile . mpeg Moving Picture Experts Group Video File . qtch Quick. Time Cache File . rmvb Real. Video Variable Bit Rate. rp Real. Pix Clip . rts Real. Player Streaming Media PPs MKOM – Teknologi Informasi

Tugas • Membuat paper tentang format file digital (audio/image/video), judul berbeda untuk setiap mhs • Sistematika: – Sekilas Sejarah, Perkembangan & Pencipta – Kajian Teknis: Diagram Blok, Prinsip Kerja, Teknik Kompresi, dll – Aplikasi: Penerapan atau penggunaan format file tersebut – Tools utk editing dan Player – Daftar Pustaka/Referensi, Sertakan Contoh File • Format: 10 -20 halaman A 4, format sesuai aturan • Deadline: 1 bulan MULTIMEDIA PPs MKOM – Teknologi Informasi

KOMPRESI DATA MULTIMEDIA PPs MKOM – Teknologi Informasi

Introduction to JPEG • Joint Photographic Experts Group (JPEG) – ISO standard (1992) – widely used (. jpeg, . jpe, . jpg; C/R: 10~20) • The family of JPEGs – – lossless JPEG: prediction-based compression lossy JPEG: DCT-based compression M-JPEG: motion JPEG 2000: discrete wavelet transform; new! MULTIMEDIA PPs MKOM – Teknologi Informasi

JPEG compression guidelines – Brightness vs color sensitivity • RGB => YUV/YIQ • chroma subsampling (4: 2: 0) – Spatial correlation among nearby pixels • slice an image into 8 x 8 blocks (bad for text) – Remove redundancy in frequency domain • discrete cosine transform (DCT) • coarse quantization for high freq coefficients MULTIMEDIA PPs MKOM – Teknologi Informasi

Kompresi JPEG 1. Konversi RGB -> YUV dan subsample U, V 2. Membagi YUV menjadi blok 8 x 8 pixel 3. Mengkompresi setiap blok dalam 4 proses: – DCT=Discrete Cosine Transform: memisahkan frekuensi. Low frequency values to top left corner – quantise (divide all values): small values ==> 0 • zig-zag scan of blocks: get most significant values first – run-length encoding: remove zeros from list – Huffman coding: values => short symbols MULTIMEDIA PPs MKOM – Teknologi Informasi

Blok Diagram JPEG Fig. 2(a) JPEG Encoder Block Diagram Fig. 2(b) JPEG Decoder Block Diagram MULTIMEDIA PPs MKOM – Teknologi Informasi

Block Transforms MULTIMEDIA PPs MKOM – Teknologi Informasi

DCT Block Based Coding • Dlm praktek, DCT diaplikasikan ke blok-blok pixel dari citra • Ukuran blok tipikal 8 x 8 atau 16 x 16 • Koefisien-koefisien dari blok kemudian dikuantisasi dan dikodekan secara terpisah • Memungkinkan kuantisasi secara variabel utk mengeksploitir variasi dari frequency content dari citra • Citra terdiri daerah-daerah (region) dg karakteristik frekuensi berbeda • Krnnya, utk mendpkan energy compaction yg baik – aplikasikan DCT ke region-region terpisah • Kita tdk tahu region-region secara pasti, krnnya gunakan blok-blok sederhana MULTIMEDIA PPs MKOM – Teknologi Informasi

DCT Block Codec MULTIMEDIA PPs MKOM – Teknologi Informasi

Pemilihan Ukuran Blok • Pemilihan ukuran blok penting • Terlalu besar – mencakup lebih dari satu region dg karakteristik frekuensi berbeda • Terlalu kecil – kompresi kurang • 8 x 8 atau 16 x 16 kompromi yg umum digunakan MULTIMEDIA PPs MKOM – Teknologi Informasi

Contoh DCT • Blok citra 8 x 8: • Koefisien DCT: MULTIMEDIA PPs MKOM – Teknologi Informasi

Contoh Transform Encoding: Lossy MULTIMEDIA PPs MKOM – Teknologi Informasi

Thresholding dan Quantization • • • Koef-koef DCT pd tiap-tiap blok di-threshold Hanya yg di atas threshold dipertahankan Lainnya pengaruhnya kecil Koefisien yg ada dikuantisasi Kuantisasi bervariasi dg frekuensi Frekuensi tinggi tdk begitu penting – kuantisasi kasar MULTIMEDIA PPs MKOM – Teknologi Informasi

Quantization Matrix • Thresholding dan quantization dilakukan dg menggunakan quantization matrix • Tiap koefisien dibagi dg elemen QM (T(k, l)) dan dibulatkan: • • Element T(k, l) adalah integer • Merepresentasikan ukuran step kuantisasi MULTIMEDIA PPs MKOM – Teknologi Informasi

Contoh Kuantisasi MULTIMEDIA PPs MKOM – Teknologi Informasi

Contoh Hasil Rekonstruksi dari Transformasi MULTIMEDIA PPs MKOM – Teknologi Informasi

The JPEG Compression • JPEG compression example Quantization 2 -D DCT Entropy Coder MULTIMEDIA PPs MKOM – Teknologi Informasi

Huffman Coding Panjang nol Kategori Amplitudo Panjang kode 0 0 0 0 1 2 3 4 5 6 7 2 2 3 4 5 6 7 00 01 100 1011 11010 111000 1 1 1 2 3 4 4 6 7 9 1100 111001 111110110 2 2 1 2 5 8 11011 11111000 3 3 1 2 6 9 111010 111110111 4 5 6 7 8 9 10 1 1 1 1 6 7 7 8 8 9 9 111011 1111010 1111011 11111001 11111010 111111001 4 1010 End of Block (EOB) MULTIMEDIA Kode Word PPs MKOM – Teknologi Informasi