Text to Speech Bahasa Indonesia dan perkembangan Teknologi

Text to Speech Bahasa Indonesia [dan perkembangan Teknologi Bahasa] Arry Akhmad Arman Institut Teknologi Bandung Indonesia Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Apa “Teknologi Bahasa”? h a l a d a a s a h a B i g n a g n e d Teknolo n a g n u b u h r e b n a g s n i l a y a i s a h a b k i teknolog a b , a s a h a b n a a n n a u s i g l g u t n e a p s a h a b n maupu Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Komponen Teknologi Bahasa Text to Speech Recognition NLP: Language Translator Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Apa “Text to Speech”? g n a y m e t s i s u t a u s h a l a d a h c e e p i S d o a t j t n e m Tex s k e t n a k i s r e v n o n a g n e dapat mengk d u t n e t r e t a s a h a b m i ucapan dala s i t e n o f n a k u k a l e m a r a c Text to Speech Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 Ucapan

Indonesian Text to Speech System Intonation Model Text to Phoneme Converter Diphone Database Phonemes Phoneme to Speech Converter Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 Speech 5

Konversi Teks ke Ucapan Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 6

Konversi Teks ke Ucapan [Tahap Normalisasi] Bapak membeli kerang seharga Rp 500, - Proses Normalisasi Bapak membeli kerang seharga lima ratus rupiah Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Konversi Teks ke Ucapan [Tahap Konversi ke Fonem] Bapak membeli kerang seharga lima ratus rupiah Proses Konversi ke Fonem | b | a | p | a | k | spasi | m | e | …. . | k | e | r | a | ng | …. . Satu fonem Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Konversi Teks ke Ucapan [Tahap Analisis Fonetik] dihilangkan | b | a | p | a | k | spasi | m | e | …. . | k | e | r | a | ng | …. . Proses Analisis Fonetik | b | a | p | a | spasi | m | e | …. . | k | e | r | a | ng | …. . Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Konversi Teks ke Ucapan [Tahap Pembangkitan Prosodi] | b | a | p | a | spasi | m | e | …. . | k | e | r | a | ng | …. . Proses Pembangkitan Prosodi Model Intonasi | b, 40 ms, 90 Hz | | a , 65 ms, 92 Hz | | p , 55 ms, 95 Hz | | a , 80 ms, 98 Hz | | spasi , 120 ms | | …………. . Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Teknik Pembangkitan Ucapan • Formant Synthesizer (penentuan parameter frekuensi untuk setiap fonem) • Concatenation (rekaman kata yang disambung) – Word concatenation (terbatas) – Diphone Concatenation (teknik yang saat ini digunakan untuk TTS Bahasa Indonesia) – Unit Selection • Articulatory Model (penentuan parameter fisik alat -alat ucap manusia untuk setiap fonem) Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Apa “Speech Recognition”? m e t s i s u t a u s h a l a d a n o i t i n g o c e R h n c a e d e n Sp a c u i l a n e g n e m t s k e yang dapa t i d a j n e m a y n n a k i s r e v mengkon Ucapan Speech Recognition Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 Text

Speech Recognition System Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 14

Intermezzo… ’ d ‘ m e n Kisah fo ! n a k h o b e h g n e m yang Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Apa “Translator Bahasa”? m e t s i s u t a u s h a l a d a a s a h a t a m i l a Translator B k n a k h a m e j r e n e m t a m i l a k yang dapat i d a j n e m i m a l a a s a h a b u t a s m a y n dala n i a l i m a l a a s a h a b m a l da Bahasa Alami #1 Translator Bahasa Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 Bahasa Alami #2

Bahasa Alami dan Bahasa Buatan Bahasa Ala mi adalah b ahasa yang tumbuh sec ara alami u ntuk komun ikasi antar manu sia g n a y a s a h a b h a l a k d u t a n n u a t s a u u s B u h a k s a r a c Baha e s n a u k t g n n e t a r b e t n a h dikem u t u b e k u t sa Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Beberapa Tantangan dalam Pengembangan Translator Ambiguitas (mak na ganda) dan sensitivitas t erhadap konteks k i r e n e G i s a t n e s e r p e R a s a h a b i t Untuk mul Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Tantangan paling men erik dalam pengemban gan Text to Speech adalah pem odelan pros odi! Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Definisi Prosodi Thierry Dutoit [Dut 97] mengemukakan bahwa: “The term prosody refers to certain properties of the speech signal such as audible changes in pitch, loudness, and syllable length. … because prosodic events appear to be time-aligned with syllables or groups of syllables, rather than with segments (sound, phonemes), they are also referred to as supra segmental phenomena. Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Definisi Prosodi Hiroya Fujisaki [Fuj 96] mengutip pendapat Lehiste (1970), Ladd dan Cutler (1983): 1. prosodi sebagai fenomena fisik yang melibatkan parameter-parameter pitch, durasi dan intensitas; dan 2. prosodi sebagai suatu fenomena linguistik yang melibatkan organisasi fonologi pada level yang lebih tinggi dari segmen-segmennya. Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Definisi Prosodi Definisi prosodi menurut Hiroya Fujisaki [Fuj 96] : “Prosody is the systematic organization of various linguistic units into an utterance or a coherent group of utterances in the process of speech production. Its realization involves both segmental and suprasegmental features of speech, and serves to convey not only linguistic information, but also paralinguistic and non-linguistic information”. Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Rangkuman Definisi Prosodi • Prosodi adalah “organisasi yang sistematis dari berbagai unit linguistik untuk membentuk ucapan”. • Prosodi dapat dilihat sebagai fenomena fisik atau fenomena linguistik. • Prosodi sebagai fenomena fisik dibentuk dari properti pitch, tingkat kekerasan, serta durasi. • Prosodi sebagai fenomena linguistik dipengaruhi oleh informasi linguistik, informasi para-linguistik (informasi yang ditambahkan oleh pengucap), serta informasi non-linguistik (usia, jenis kelamin dan sebagainya). Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Model-Model Prosodi • • • Model Fujisaki Model Acoustic Stylization Model Automatic Perceptual Stylization Model “Teori Kontur Pitch” Model “Teori Urutan Nada” Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Model Fujisaki • Kurva pitch prosodi merupakan super-impose dari kurva frasa dan kurva aksen. • Fujisaki tidak menjelaskan bagaimana mengaitkan setiap komponen dengan aspek linguistiknya. Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Teori Kontur Pitch • Teori Kontur Pitch menyatakan bahwa kurva pitch dibentuk dari segmen-segmen unik yang berasal dari kumpulan segmen yang jumlahnya terhingga. • Pernah diterapkan oleh Delatree untuk Bahasa Perancis dengan 10 segmen (kontur dasar) Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Penelitian Intonasi Bahasa Indonesia • • • Analisis pola intonasi secara kualitatif. Penelitian-penelitian kelompok ini mencoba menganalisis pola intonasi bahasa Indonesia tanpa melakukan pengukuran secara kuantitatif. Analisis pola intonasi bahasa Indonesia berdasarkan besaran-besaran kuantitatif yang diukur mengunakan alat tertentu. – ”Intonation in Relation to Syntax in Indonesia” yang merupakan disertasi Bapak Amran Halim (1969, Universitas Michigan). Pemodelan Intonasi. Pengembangan model yang dapat membangkitkan pola intonasi secara otomatis untuk suatu kalimat tertentu. – Model intonasi Indo-1, diusulkan oleh Arry Akhmad Arman yang dipublikasikan pada APCC (Asia Pacific Conference on Communications) 2001 di Tokyo, Jepang [ASAM 01]. – Model intonasi Indo-2, diusulkan oleh Arry Akhmad Arman yang dipublikasikan sebagai disertasi (2004) Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Model Intonasi Indo-1 Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Penelitian u ntuk menge mbangkan model Inton asi Bahasa Indonesia masih sang at jarang di lakukan! Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Model Intonasi Indo-2 [Tahap Analisis] Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Model Intonasi Indo-2 [Tahap Analisis: Hasil Analisis] • Kurva prosodi Bahasa Indonesia dapat dibentuk dari segmen-segmen yang dapat dikategorikan dalam suatu kumpulan segmen yang jumlahnya terhingga • Setiap segmen dapat dibentuk dari sub-sub segmen yang mempunyai trend linier • Setiap sub segmen dapat dibentuk dari kurva linier dan aksen-aksen yang terletak pada suku kata tertentu • Batas-batas segmen berhubungan dengan informasi linguistik (koma dan simbol lainnya) serta informasi para linguistik (kata tersebut, itu, dan sebagainya) Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Model Intonasi Indo-2 Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Model Intonasi Indo-2 ian a k g n a r n a k a erup m a i s e n o d n I hasa a B t h a e l m o i l n a a k k i h d a o s s i o p Pr ng di a y i d o s o ang r y p k i n t e s i m u g g e n s i l h a n par a sejumla d k i t s i u g n i dari l i i r s i a d r m e r t o f n n e i i m s g ap se i t e informa s ; t n e d n e indep r e k pakan a u e r p e s m t a g f i n i s a bers sing-m a m sen”. k g a n y e n n e o p m g m e o an k d a s sub-sub s a r f n e n o komp i r a d e s o p m i super Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Deskripsi Model [1] [Besaran-Besaran Sistem] Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Deskripsi Model [2] [Proses Segmentasi] Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Deskripsi Model [3] [Proses Segmentasi] Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Aplikasi-Ap likasi Teknologi B ahasa Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Application Natural Language Translator Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 41

Application Speech to Speech Translation Speech Recognition Indonesia text Translator Indonesia Inggris Text to Speech Inggris text speech Bahasa Indonesia English speech Text to Speech Indonesia speech text Translator Inggris Indonesia text Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 Speech Recognition Inggris 42

Application Document Reader Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 43

Application Terminal for Deaf People Monitor Screen Deaf Prople Text To Speech and Keyboard Speech Recognition Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 44

Application Talking Aid Sign Language Identification Text to Speech Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 45

Application Talking Aid Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 46

Aplikasi Untuk Tuna Netra Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Interaksi Lisan dengan Komputer 2 Kurs rupiah terhadap dolar saat ini menurut informasi Bank Indonesia adalah …. Komputer! Tolong bacakan kurs rupiah terhadap dolar amerika! Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 1

Layanan pemesanan tanpa operator! Sedang! Selamat datang di layanan online Piza Jakarta! Sebutkan ukuran yang akan anda pesan: besar, sedang, atau kecil! Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Application Future • Di masa depan, robot akan menjadi bagian dari kehidupan kita sehari-hari; tentunya kita tidak berharap berhadapan dengan robot yang hanya bisa berbahasa Inggris atau Jepang! Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 50

Penutup • Teknologi Bahasa adalah teknologi yang sudah mulai banyak digunakan dan akan semakin banyak digunakan di masa yang akan datang • Penelitian dan Pengembangan Teknologi Bahasa seharusnya merupalan kegiatan kolaborasi antara ahli bahasa, ahli teknik, dan ahli biologi (kedokteran). • Semoga di masa yang akan datang kolaborasi dapat berjalan lebih baik. Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008

Terima kasih ! Award from Presiden RI, 2003 Award from DAAD-Fraunhofer, Germany , 2004 Presentasi ini akan disimpan untuk dapat di-download di http: //kupalima. wordpress. com Arry Akhmad Arman | http: //www. kupalima. com | arman@kupalima. com | Institut Teknologi Bandung | 2008 52