Matakuliah Tahun Versi H 0352 Pemrosesan Paralel

Matakuliah Tahun Versi : H 0352/Pemrosesan Paralel : 2005 : versi/01 Pokok Bahasan 4 Model Paralel Prosesor 1

Learning Outcomes Pada akhir pertemuan ini diharapkan mahasiswa akan dapat: • menjelaskan model pemrosesan paralel • menjelaskan topologi jaringan interkoneksi paralel prosesor. 2

Model Paralel Prosesor Menurut Quinn, ada tiga model penting dalam paralel prosesor: • • • Processor Arrays Multiprocessors Multicomputers Oak Ridge National Laboratory, multicomputer. FLUENT, multiprocessors 3 ASCI White, Massively Parallel Processor (MPP), processor arrays

Processor Array Front end computer Program and data memory CPU I/O processor I/O Processing element Data memory Interconnection network Processing element Processor array Data memory data instruksi Bagan umum processor arrays I/O 4

Processor Array • Front end computer: skwensial vektor komputer yang dibantu oleh processor array untuk melakukan tugasnya. Front end Processor array • Processor arrays: bertindak selaku co-processor menerima perintah dan data dari front end computer. System data parallel, dimana setiap prosesor melaksanakan instruksi yang sama untuk data yang berbeda, dilaksanakan oleh processor array. • Interconnection network: jaringan ini yang menentukan topologi prosesor yang digunakan. Contoh: Connection Machine CM-200, menggunakan 65536 prosesor, dengan topologi hypercube. 5

Multiprocessors Berdasarkan memory nya, dibagi mejadi: • Uniform Memory Acces (UMA) multiprocessor • Nonuniform Memory Acess (NUMA) multiprocessor UMA CPU 1 Switching mechanism Memory banks I/O Devices 6

Multiprocessors UMA Terminal Ethernet MULTIBUS Console Multibus Interface Board Multibus Adapter Board CPU 2 – 30 32 -bit SCED Board Memory 8 – 240 MBytes Printer System Bus Dual-Channel Disk Controller Contoh: Multiprocessor X. 25 SCI Bus Tape Target Adapter Disk Target Adapter 7

Multiprocessors NUMA Memory CPU 1 Switching mechanism I/O Devices Contoh: TC 2000, 128 processors 8

Multicomputers Contoh: - n. Cube, 8192 processors, topologi hypercube. - CM-5, 16384 processors, topology 4 -ary hypertree. 9

Multicomputers n. Cube 2 Front-end computer I/O Processor Parallel I/O Devices Processor I/O Disk Processor 10

Multicomputers CM-52 Diagnostic Network Control Network Data Network P CP M P CP P M M P M Hundreds or thousands of processing nodes, each with its own memory CP M I/O Ones or tens High-bandwidth I/O interfaces of control and devices processors: HIPPI or VME used for Interface logins, I/O, and administration Graphics output 11

Multicomputers Paragon XP/S Application Processor i 860 XP Message Processor i 860 XP Performance Monitor Memory 16 – 64 MBytes Network Interface Expansion Port Transfer Engines (2) 12

Taxonomi Flynn mengelompokan komputer berdasarkan data dan instruksi nya sebagai berikut. Data Instruksi 13

Taxonomi Flynn x data P 1 y P 1 P 2 z P 3 sin(x) sin(y) sin(z) hasil SIMD SISD x data P 1 P 2 x data P 3 P 1 y P 2 z P 3 sin(x) log(x) x*x + 2 sin(x) log(y) z*z+2 hasil hasil MISD MIMD 14

Taxonomi Flynn Untuk MIMD dapat dilaksanakan aturan sebagai berikut: EREW (Exclusive Read Exclusive Write). Membaca dan menulis bersamaan tidak diperbolehkan. CREW (Concurrent Read Exclusive Write). Membaca bersamaan diperbolehkan tapi menulis bersamaan tidak diperbolehkan. CRCW (Concurrent Read Concurrent Write). Membaca dan menulis bersamaan diperbolehkan. Ada tiga aturan yang dapat dilakukan untuk CRCW ini: • COMMON. Data yang ditulis harus sama. • ARBITRARY. Secara acak hanya satu processor yang berhak menulis. • PRIORITY. Setiap processor mempunyai index. Index terendah mempunyai prioritas tertinggi untuk menulis. 15

Taxonomi Flynn SIMD Example: for (i=0; i<10; i++) ~ if (a[i]

Taxonomi Flynn SIMD Example: for (i=0; i<10; i++) pardo ~ if (a[i]

Taxonomi Flynn SIMD Example: for (i=0; i<10; i++) pardo ~ if (a[i]

Taxonomi Flynn SIMD Example: for (i=0; i<10; i++) pardo ~ if (a[i]

Connection Network static networks • Komunikasi point-to-point menghubungkan antar prosesor. • Komunikasi ini disebut juga dengan direct networks. dynamic networks • Komunikasi dijalankan secara dinamis menggunakan switch untuk membangun jalur antar prosesor dan memory bersama. • Komunikasi ini disebut juga dengan indirect networks. 20

Connection Network Static/direct network Dynamic/indirect network p p p p switching element network interface/switch prosesor 21

Dynamic network 22

Dynamic network Cross bar 23

Dynamic network Central Data Bus Prosesor dan global memory dihubungkan menggunakan bus bersama Keuntungan: sederhana dan low cost. Kerugian: hanya satu prosesor dapat menghubungi global memory dalam waktu satu waktu. 24

Dynamic network Interchange Box 0 0 1 0 0 0 1 1 1 0 Upper Broadcast Straight 0 1 1 1 0 Lower Broadcast Swap Interchange box dipakai sebagai switch 25

Dynamic network Hypercube Connection N = 2 m 1 N = jumlah input atau output m = jumlah tingkat Setiap tingkat terdiri dari N/2 interchange box. 4 0 2 5 1 6 2 3 1: 0 – 4, 1 – 5, 2 – 6, 3 – 7 7 3 2: 0 – 2, 1 – 3, 4 – 6, 5 – 7 3: 0 – 1, 2 – 3, 4 – 5, 6 - 7 26

Dynamic network Contoh: Untuk 8 input atau output maka diperlukan: 8 = 2 m , m = 3, jadi 3 tingkat Tiap tigkat terdiri dari 8/2 = 4 interchange box. Hypercube Connection 1 0 1 2 3 4 5 6 7 2 0 0 4 4 1 0 3 0 0 0 2 2 1 1 1 2 2 5 5 3 3 2 2 4 4 6 6 5 5 3 3 5 5 6 6 7 7 7 0 1 1 3 2 2 3 4 4 5 6 7 0 5 1 6 2 7 3 27

Dynamic network Shuffle Connection Hanya 1 tingkat, berisi N/2 interchange box N = jumlah input atau output. Rumus koneksi: i dihubungkan dengan 2 i modulo (N-1) Untuk N = 8 0 1 2 3 4 5 6 7 0 mod(7) = 0 2 mod(7) = 2 4 mod(7) = 4 6 mod(7) = 6 8 mod(7) = 1 10 mod(7) = 3 12 mod(7) = 5 14 mod(7) = 7 Contoh untuk N = 8 Diperlukan 4 interchange box 0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 28

Dynamic network Omega Connection Untuk kaskade m = log N tingkat dari shuffle connection ini disebut Omega connection. 0 0 0 1 1 1 2 2 3 3 4 5 6 7 Untuk N = 8, maka m = 3 4 5 6 7 2 3 4 5 6 7 0 1 2 3 4 5 6 7 29

Dynamic network Butterfly Connection 1 1 2 2 3 3 4 4 (a) (b) Untuk butterfly connection, 2 interchange box dirangkai seperti rangkaian (a) diatas. Dua tingkat kaskade dari rangkaian (a) biasa juga digunakan sebagai butterfly switch. Switch ini digunakan pada BBN Advanced Computers Inc. 30

Dynamic network Contoh butterfly connection yang digunakan pada BBN Advanced Computers Inc. Butterfly Connection 00 01 10 11 Data 1110 00 01 10 11 00 01 10 11 Dat a 1 1 00 01 10 11 Data 31

RESUME Telah dibahas: q Model paralel komputer dan taxonomy Flynn: • Processor Arrays • Multiprocessors • Multi computers • Taxonomi Flynn: SISD, SIMD, MISDI, dan MIMDI. q Jalur komunikasi dalam pemrosesan paralel: bus, cross bar, dan jaringan. Untuk jaringan dibahas komunikasi berbasis interchange box: hypercube, shufflel, omega, dan butterfly. 32