Chapter 1 Komputer Paralel Slides for Parallel Programming

Tuntutan Terhadap Kecepatan Komputasi • Tuntutan yang terus mendesak agar sistem komputer menunjukkan kecepatan

Masalah yang Merupakan Tantangan Besar … adalah masalah yang tidak dapat diselesaikan dalam waktu

Peramalan Cuaca • Atmosfir dimodelkan dengan membaginya menjadi sel-sel 3 -dimensi. • Perhitungan setiap

Contoh Peramalan Cuaca Global • Misalkan keseluruhan atmosfir global dibagi menjadi sel sebesar 1

Pemodelan Gerakan Benda Luar Angkasa • Setiap benda saling menarik dengan gaya gravitasi. Gerakan

• Satu galaksi bisa memiliki sekitar 1011 bintang. • Bahkan jika satu perhitungan

Simulasi Astrofisika N-benda oleh Scott Linssen (mahasiswa undergraduate UNC-Charlotte). Slides for Parallel Programming Techniques

Komputasi Paralel • Menggunakan lebih dari 1 komputer, atau komputer dengan lebih dari 1

Latar Belakang • Komputer paralel – komputer dengan lebih dari satu prosesor – dan

Gill menulis pada tahun 1958: “. . . Dengan demikian tidak ada hal baru

Faktor Speedup S(p) = Waktu eksekusi dengan 1 prosesor (algoritma sekuensial terbaik) ts Waktu

Faktor speedup juga bisa dinyatakan dalam langkah komputasi: S(p) = Jumlah langkah komputasi dengan

Speedup Maksimum Speedup maksimum biasanya p dengan p prosesor (linear speedup). Dapat dicapai superlinear

Speedup Maksimum Hukum Amdahl ts fts (1 - f)ts Bagian serial Bagian yang dapat

Faktor speedup dinyatakan dengan: Persamaan ini dikenal sebagai hukum Amdahl Slides for Parallel Programming

Speedup terhadap jumlah prosesor f = 0% 20 16 12 f = 5% 8

Bahkan dengan jumlah prosesor tak terbatas, speedup maksimum tetap terbatas sampai 1/f. Contoh Dengan

Contoh Superlinear Speedup - Searching (a) Searching setiap sub-space secara sekuensial Start Waktu ts

(b) Searching setiap sub-space secara paralel t Solusi ditemukan Slides for Parallel Programming Techniques

Dengan demikian, Speedup dinyatakan dengan x S(p) = ts p t + t Slides

Worst case untuk search sekuensial dengan solusi ditemukan di sub-space terakhir. Pada kasus ini,

Keuntungan terkecil versi paralel ialah jika solusi ditemukan pada sub-space pertama dari search sekuensial,

Tipe Komputer Paralel Dua tipe utama: • Shared memory multiprocessor • Distributed memory multicomputer

Shared Memory Multiprocessor Slides for Parallel Programming Techniques & Applications Using Networked Workstations &

Komputer Konvensional Terdiri dari satu prosesor yang mengeksekusi program yang tersimpan pada memori (utama):

Shared Memory Multiprocessor System Cara natural untuk mengembangkan model prosesor tunggal multiple processor dihubungkan

Ilustrasi shared memory multiprocessor kecil yang disederhanakan Processors Shared memory Bus Contoh: • Dual

Quad Pentium Shared Memory Multiprocessor Processor L 1 cache L 2 Cache Bus interface

Pemrograman Shared Memory Multiprocessors • Threads - programmer membagi program menjadi urutan paralel individu

• Bahasa pemrograman sekuensial dengan syntax tambahan untuk mendeklarasikan variabel yang dipakai bersama

Message-Passing Multicomputer Komputer lengkap dihubungkan melalui interconnection network: Interconnection network Messages Processor Local memory

Interconnection Networks • • Interkoneksi yang terbatas dan lengkap Mesh 2 - dan 3

Array dua-dimensi (mesh) Links Computer/ processor Juga tiga-dimensi – digunakan pada beberapa sistem dengan

Hypercube Tiga Dimensi Slides for Parallel Programming Techniques & Applications Using Networked Workstations &

Hypercube Empat Dimensi Hypercube yang populer pada tahun 1980 -an – sekarang tidak Slides

Crossbar switch Memories Processors Switches Slides for Parallel Programming Techniques & Applications Using Networked

Tree Root Links Switch element Processors Slides for Parallel Programming Techniques & Applications Using

Multistage Interconnection Network Example: Omega network 2 ´ 2 switch elements (straight-through or crossover

Distributed Shared Memory Membuat main memory dari kelompok interconnected computers seakan-akan seperti satu memory

Klasifikasi Flynn (1966) membuat klasifikasi komputer berdasarkan aliran instruksi dan aliran data: – Single

Multiple Instruction Stream-Multiple Data Stream (MIMD) Computer Sistem multiprosesor general-purpose – setiap prosesor memiliki

Single Instruction Stream-Multiple Data Stream (SIMD) Computer • Komputer yang dirancang khusus – datu

Struktur Multiple Program Multiple Data (MPMD) Termasuk klasifikasi MIMD, setiap prosesor memiliki program sendiri

Struktur Single Program Multiple Data (SPMD) Terdapat satu source program yang copy-nya dieksekusi oleh

Networked Computers sebagai Computing Platform • Jaringan komputer menjadi alternatif yang sangat menarik bagi

Keuntungan utama: • Workstation dan PC berkinerja tinggi tersedia dengan harga murah. • Prosesor

Software Tools for Clusters • Berdasarkan pada Message Passing Parallel Programming: • Parallel Virtual

Beowulf Clusters* • Sekelompok interconnected “commodity” computers yang dapat mencapai kinerja tinggi dengan harga

Cluster Interconnects • Awalnya merupakan fast Ethernet on low cost clusters • Gigabit Ethernet

Dedicated cluster with a master node Dedicated Cluster User Compute nodes Master node Up

Slides: 51

Download presentation

Chapter 1 Komputer Paralel Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Tuntutan Terhadap Kecepatan Komputasi • Tuntutan yang terus mendesak agar sistem komputer menunjukkan kecepatan komputasi yang lebih besar dari saat ini. • Bidang yang membutuhkan kecepatan komputasi yang tinggi mencakup pemodelan numerik dan simulasi masalah ilmiah dan teknik. • Komputasi harus diselesaikan dalam waktu yang “masuk akal”. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Masalah yang Merupakan Tantangan Besar … adalah masalah yang tidak dapat diselesaikan dalam waktu yang masuk akal dengan kecepatan komputer yang sekarang … → berkisar sekitar 10 tahun waktu eksekusi. Contoh • Pemodelan struktur DNA yang besar • Peramalan cuaca global • Pemodelan gerakan benda luar angkasa. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Peramalan Cuaca • Atmosfir dimodelkan dengan membaginya menjadi sel-sel 3 -dimensi. • Perhitungan setiap sel diulang-ulang to memodelkan perjalanan waktu. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Contoh Peramalan Cuaca Global • Misalkan keseluruhan atmosfir global dibagi menjadi sel sebesar 1 mile dengan ketinggian 10 miles (tinggi 10 sel) - sekitar 5 108 sel. • Misalkan setiap perhitungan membutuhkan 200 operasi floating point. Dalam satu tahap, diperlukan 1011 operasi floating point. • Untuk meramalkan cuaca 7 hari dengan interval 1 menit, komputer dengan kecepatan 1 Gflops (109 operasi floating point / detik) membutuhkan waktu 106 detik atau lebih dari 10 hari. • Untuk melakukan perhitungan tersebut dalam waktu 5 menit dibutuhkan komputer yang beroperasi dengan kecepatan 3. 4 Tflops (3. 4 1012 operasi floating point / detik). Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Pemodelan Gerakan Benda Luar Angkasa • Setiap benda saling menarik dengan gaya gravitasi. Gerakan setiap benda diprediksi dengan menghitung gaya total pada setiap benda. • Jika ada N benda, diperlukan perhitungan N - 1 gaya untuk setiap benda, atau sekitar N 2 perhitungan. (N log 2 N untuk algoritma aproksimasi yang efisien. ) • Setelah menentukan posisi baru untuk setiap benda, perhitungan diulang kembali. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

• Satu galaksi bisa memiliki sekitar 1011 bintang. • Bahkan jika satu perhitungan dilakukan dalam waktu 1 ms (angka yang sangat optimistik), diperlukan 109 tahun untuk satu iterasi dengan menggunakan algoritma N 2 algorithm dan hampir satu tahun untuk satu iterasi dengan menggunakan algoritma aproksimasi N log 2 N yang efisien. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Simulasi Astrofisika N-benda oleh Scott Linssen (mahasiswa undergraduate UNC-Charlotte). Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Komputasi Paralel • Menggunakan lebih dari 1 komputer, atau komputer dengan lebih dari 1 prosesor, untuk menyelesaikan masalah. Motif • Biasanya komputasi yang lebih cepat – ide yang sangat sederhana – bahwa n komputer yang beroperasi secara simultan dapat memberikan hasil n kali lebih cepat – walaupun tidak akan mencapai n kali lebih cepat dengan berbagai alasan. • Motif lain mencakup: toleransi kesalahan, kapasitas memori yang tersedia lebih besar, . . . Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Latar Belakang • Komputer paralel – komputer dengan lebih dari satu prosesor – dan pemrogramannya – pemrograman paralel – telah ada selama lebih dari 40 tahun. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Gill menulis pada tahun 1958: “. . . Dengan demikian tidak ada hal baru dalam gagasan pemrograman paralel, selain penerapannya pada komputer. Penulis tidak menganggap akan ada kesulitan besar dalam perluasannya pada komputer. Tidak diharapkan bahwa teknik pemrograman yang diperlukan akan ditemukan dalam semalam. Banyak eksperimen yang masih harus dilakukan. Bagaimanapun, teknik yang biasanya digunakan dalam pemrograman saat ini didapat dengan usaha keras beberapa tahun yang lalu. Pada kenyataannya, munculnya pemrograman paralel bisa berperan dalam menghidupkan kembali semangat perintis dalam pemrograman yang tampaknya menjadi membosankan dan hanya rutin saja. . . ” Gill, S. (1958), “Parallel Programming, ” The Computer Journal, vol. 1, April, pp. 2 -10. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Faktor Speedup S(p) = Waktu eksekusi dengan 1 prosesor (algoritma sekuensial terbaik) ts Waktu eksekusi multiprosesor dengan p prosesor tp dengan ts adalah waktu eksekusi pada prosesor tunggal dan tp adalah waktu eksekusi pada multiprosesor. S(p) menunjukkan bertambahnya kecepatan dengan menggunakan multiprosesor. Gunakan algoritma sekuensial terbaik dengan sistem prosesor tunggal. Algoritma yang mendasari untuk implementasi paralel bisa (dan biasanya) berbeda. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Faktor speedup juga bisa dinyatakan dalam langkah komputasi: S(p) = Jumlah langkah komputasi dengan satu prosesor Jumlah langkah komputasi paralel dengan p prosesor Kompleksitas waktu juga dapat diperluas dengan komputasi paralel. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Speedup Maksimum Speedup maksimum biasanya p dengan p prosesor (linear speedup). Dapat dicapai superlinear speedup (lebih besar dari p) tetapi biasanya dengan kondisi tertentu seperti: • Memori ekstra pada sistem multiprosesor • Algoritma nondeterministik Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Speedup Maksimum Hukum Amdahl ts fts (1 - f)ts Bagian serial Bagian yang dapat diparalelisasi (a) Satu prosesor (b) Multiple prosesor p prosesor tp (1 - f)ts /p Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Faktor speedup dinyatakan dengan: Persamaan ini dikenal sebagai hukum Amdahl Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Speedup terhadap jumlah prosesor f = 0% 20 16 12 f = 5% 8 f = 10% f = 20% 4 4 8 12 16 20 Jumlah prosesor , p Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Bahkan dengan jumlah prosesor tak terbatas, speedup maksimum tetap terbatas sampai 1/f. Contoh Dengan hanya 5% komputasi yang serial, speedup maksimum adalah 20, berapapun jumlah prosesor. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Contoh Superlinear Speedup - Searching (a) Searching setiap sub-space secara sekuensial Start Waktu ts t s/p Sub-space search t xts/p Solusi ditemukan x indeterminate Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

(b) Searching setiap sub-space secara paralel t Solusi ditemukan Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Dengan demikian, Speedup dinyatakan dengan x S(p) = ts p t + t Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Worst case untuk search sekuensial dengan solusi ditemukan di sub-space terakhir. Pada kasus ini, versi paralel memberikan keuntungan terbesar, yaitu p – 1 t + t s p S(p) = t as t tends to zero Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Keuntungan terkecil versi paralel ialah jika solusi ditemukan pada sub-space pertama dari search sekuensial, yaitu S(p) = t t = 1 Speed-up yang sebenarnya bergantung pada subspace yang mana yang menyimpan solusi, tetapi mungkin banyak sekali. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Tipe Komputer Paralel Dua tipe utama: • Shared memory multiprocessor • Distributed memory multicomputer Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Shared Memory Multiprocessor Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Komputer Konvensional Terdiri dari satu prosesor yang mengeksekusi program yang tersimpan pada memori (utama): Memori Utama Instruksi(ke prosesor) Data (ke atau dari prosesor) Prosesor Setiap lokasi memori utama ditentukan oleh alamatnya. Alamat dimulai dari 0 sampai 2 b - 1 jika ada b bit (digit biner) alamat. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Shared Memory Multiprocessor System Cara natural untuk mengembangkan model prosesor tunggal multiple processor dihubungkan ke multiple memory modules, sedemikian sehingga setiap prosesor dapat mengakses memory module yang manapun: One address space Memory module Interconnection network Processors Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Ilustrasi shared memory multiprocessor kecil yang disederhanakan Processors Shared memory Bus Contoh: • Dual Pentium • Quad Pentium Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Quad Pentium Shared Memory Multiprocessor Processor L 1 cache L 2 Cache Bus interface Processor/ memory bus I/O interface Memory controller I/O bus Shared memory Memory Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Pemrograman Shared Memory Multiprocessors • Threads - programmer membagi program menjadi urutan paralel individu (threads), masing-masing dapat mengakses variabel yang dideklarasikan di luar thread. Contoh: Pthreads • Bahasa pemrograman sekuensial dengan preprocessor compiler directives untuk mendeklarasikan variabel yang dipakai bersama (shared variables) dan menspesifikasi paralelisme. Contoh: Open. MP – standard industri – membutuhkan compiler Open. MP Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

• Bahasa pemrograman sekuensial dengan syntax tambahan untuk mendeklarasikan variabel yang dipakai bersama dan menspesifikasi paralelisme. Contoh: UPC (Unified Parallel C) – membutuhkan compiler. • Bahasa pemrograman paralel dengan syntax untuk menyatakan paralelisme - compiler membuat executable code untuk setiap prosesor (sekarang tidak umum) • Bahasa pemrograman sekuensial dan meminta parallelizing compiler untuk mengubahnya menjadi parallel executable code. - sekarang tidak umum Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Message-Passing Multicomputer Komputer lengkap dihubungkan melalui interconnection network: Interconnection network Messages Processor Local memory Computers Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Interconnection Networks • • Interkoneksi yang terbatas dan lengkap Mesh 2 - dan 3 -dimensi Hypercube (sekarang tidak umum) Menggunakan switch: – Crossbar – Tree – Multistage interconnection network Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Array dua-dimensi (mesh) Links Computer/ processor Juga tiga-dimensi – digunakan pada beberapa sistem dengan kinerja tinggi. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Hypercube Tiga Dimensi Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Hypercube Empat Dimensi Hypercube yang populer pada tahun 1980 -an – sekarang tidak Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Crossbar switch Memories Processors Switches Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Tree Root Links Switch element Processors Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Multistage Interconnection Network Example: Omega network 2 ´ 2 switch elements (straight-through or crossover connections) 000 001 010 011 Inputs 000 001 010 011 Outputs 100 101 110 111 Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Distributed Shared Memory Membuat main memory dari kelompok interconnected computers seakan-akan seperti satu memory dengan satu address space. Selanjutnya dapat digunakan teknik pemrograman shared memory. Interconnection network Messages Processor Shared memory Computers Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Klasifikasi Flynn (1966) membuat klasifikasi komputer berdasarkan aliran instruksi dan aliran data: – Single instruction stream-single data stream (SISD) computer Komputer prosesor tunggal – dibuat satu aliran instruksi dari program. Instruksi beroperasi pada satu aliran data. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Multiple Instruction Stream-Multiple Data Stream (MIMD) Computer Sistem multiprosesor general-purpose – setiap prosesor memiliki program sendiri dan dibuat satu aliran instruksi dari setiap program untuk setiap prosesor. Setiap instruksi beroperasi pada data yang berbeda. Multiprosesor shared memory dan messagepassing yang telah dibahas sebelum ini termasuk dalam klasifikasi MIMD. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Single Instruction Stream-Multiple Data Stream (SIMD) Computer • Komputer yang dirancang khusus – datu aliran instruksi dari satu program, tetapi terdapat banyak aliran data. Instruksi dari program di-broadcast ke lebih dari satu prosesor. Setiap prosesor mengeksekusi instruksi yang sama secara sinkron, tetapi menggunakan data yang berbeda. • Dikembangkan karena banyak aplikasi penting yang beroperasi pada banyak data. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Struktur Multiple Program Multiple Data (MPMD) Termasuk klasifikasi MIMD, setiap prosesor memiliki program sendiri untuk dieksekusi: Program Instructions Processor Data Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Struktur Single Program Multiple Data (SPMD) Terdapat satu source program yang copy-nya dieksekusi oleh setiap prosesor secara independen dan tidak sinkron. Source program dapat dibuat sedemikian rupa sehingga bagian-bagiannya dieksekusi oleh komputer-komputer tertentu bergantung pada identitas komputer tersebut. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Networked Computers sebagai Computing Platform • Jaringan komputer menjadi alternatif yang sangat menarik bagi superkomputer dan sistem komputer paralel yang mahal untuk melakukan for highperformance computing di awal tahun 1990 -an. • Beberapa proyek awal: – Berkeley NOW (network of workstations) project. – NASA Beowulf project. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Keuntungan utama: • Workstation dan PC berkinerja tinggi tersedia dengan harga murah. • Prosesor terbaru dapat digabungkan dengan sistem jika telah tersedia. • Software yang sudah ada dapat dipakai atau dimodifikasi. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Software Tools for Clusters • Berdasarkan pada Message Passing Parallel Programming: • Parallel Virtual Machine (PVM) – dikembangkan pada akhir 1980 -an. Menjadi sangat populer. • Message-Passing Interface (MPI) – standardnya didefinisikan pada tahun 1990 -an. • Keduanya menyediakan satu set user-level library untuk message passing. Digunakan dengan bahasa pemrograman umum (C, C++, . . . ). Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Beowulf Clusters* • Sekelompok interconnected “commodity” computers yang dapat mencapai kinerja tinggi dengan harga murah. • Biasanya menggunakan commodity interconnects - high speed Ethernet, dan Linux OS. * Beowulf merupakan nama yang diberikan oleh NASA Goddard Space Flight Center cluster project. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Cluster Interconnects • Awalnya merupakan fast Ethernet on low cost clusters • Gigabit Ethernet - easy upgrade path More Specialized/Higher Performance • • • Myrinet - 2. 4 Gbits/sec - disadvantage: single vendor c. Lan SCI (Scalable Coherent Interface) QNet Infiniband - may be important as infininband interfaces may be integrated on next generation PCs Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

Dedicated cluster with a master node Dedicated Cluster User Compute nodes Master node Up link Switch 2 nd Ethernet interface External network Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2 nd Edition, by B. Wilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.