Google File System HDFS Big Table Hbase 2015

Google File System, HDFS, Big. Table, Hbase Κατανεμημένα Συστήματα 2015 -2016 http: //www. cslab. ece. ntua. gr/courses/distrib 9/9/2020

Διεπαφή συστήµατος αρχείων • • • 9/9/2020 create/delete open/close read/write Snapshot record append

Αρχιτεκτονική Client Chunkserver 9/9/2020 Master Chunkserver

GFS Files 9/9/2020

Write request Current lease holder? 3 a. data Operation completed or Error report identity of primary location of replicas (cached by client) Operation completed 3 b. data Primary assign s/n to mutations Applies it Forward write request 3 c. data Operation completed 9/9/2020

Lease, mutation και ροή δεδοµένων (Αποθήκευση) Client Chunkserver 9/9/2020 Master Chunkserver

Lease, mutation και ροή δεδοµένων (Ανάγνωση) Client Chunkserver 9/9/2020 Master Chunkserver

Η αρχιτεκτονική του HDFS Cluster Membership Name. Node s de a me na file 1. o ta. N 2. , D k. Id c Blo Secondary Name. Node Client 3. Re ad d ata Cluster Membership Name. Node : Maps a file to a file-id and list of Map. Nodes Data. Node : Maps a block-id to a physical location on disk Secondary. Name. Node: Periodic merge of Transaction log 9/9/2020 Data. Nodes

Replication Datanodes 2 1 1 1 2 4 2 3 4 5 Rack 1 9/9/2020 3 3 5 4 5 Rack 2

API 2/2 Δεν υποστηρίζει joins!!! (κάντο με Map. Reduce εάν θες) Δεν υποστηρίζει get(column_key) σκέτο: θα πρέπει να ξέρεις το row_key No multi-row transactions Atomic single-row writes Optional atomic single-row reads 9/9/2020

Αρχιτεκτονική Client Έλεγχος Master Δεδομένα Chubby library SSTable GFS Tablet server 9/9/2020 Tablet server

Οργάνωση των tablets Table METADATA ROOT a row A Chubby 9/9/2020 Οι clients κάνουν cache το location. Στην χειρότερη (λάθος cache), με 6 network msgs βρίσκουν το location.

Εγγραφή δεδομένων write memtable Commit Log SSTable 9/9/2020 SSTable

Συμπύκνωση write memtable Major Minor. Compaction Commit Log SSTable 9/9/2020 SSTable

Ανάγνωση δεδομένων read memtable Commit Log SSTable 9/9/2020 SSTable

Παράδειγμα Bloom Filter 9/9/2020 Array of m bits K hash functions Empty set -> all 0 s Add element: k hash functions -> k positions set to 1

Παράδειγμα Bloom Filter 9/9/2020

Αντιστοιχίες Big. Table • Master • Tablet. Server • SSTable • Tablet • Chubby • GFS 9/9/2020 HBase • • • HMaster Region Server Hfile (περίπου) Table. Region Zookeeper HDFS