CSC 4005 Distributed and Parallel Computing Prof YehChing

CSC 4005 – Distributed and Parallel Computing Prof. Yeh-Ching Chung School of Data Science Chinese University of Hong Kong, Shenzhen 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 1

Outline l l l l l Introduction to Parallel Computers Message Passing Computing and Programming Multithreaded Programming Open. MP Programming Embarrassingly Parallel Computations Partitioning and Divide-and-Conquer Strategies Pipelined Computations Synchronous Computations Load Balancing and Termination Detection Sorting Algorithms 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 2

Embarrassingly Parallel Computations (1) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 3

Embarrassingly Parallel Computations (2) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 4

Embarrassingly Parallel Examples (1) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 5

Embarrassingly Parallel Examples (2) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 6

Embarrassingly Parallel Examples (3) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 7

Pseudocode to Perform Image Shift (1) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 8

Embarrassingly Parallel Examples (2) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 9

Embarrassingly Parallel Examples (3) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 10

Mandelbrot Set Computation (1) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 11

Mandelbrot Set Computation (2) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 12

Mandelbrot Set Computation (3) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 13

Mandelbrot Set Computation (4) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 14

Mandelbrot Set Computation (5) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 15

Parallelization of Mandelbrot Computation (1) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 16

Parallelization of Mandelbrot Computation (2) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 17

Parallelization of Mandelbrot Computation (3) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 18

Parallelization of Mandelbrot Computation (4) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 19

Parallelization of Mandelbrot Computation (5) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 20

Parallelization of Mandelbrot Computation (6) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 21

Monte Carlo Methods (1) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 22

Monte Carlo Methods (2) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 23

Monte Carlo Methods (3) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 24

Monte Carlo Methods (4) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 25

Monte Carlo Methods (5) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 26

Monte Carlo Methods (6) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 27

Monte Carlo Methods (7) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 28

Monte Carlo Methods (8) 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 29

Random Number Generation 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 30

Parallel Random Number Generation 香港中文大学（深圳）数据科学院 CUHK-SZ School of Data Science National Tsing Hua University ® copyright OIA 31