HDFS Hadoop Distributed File System Problem Chcemy odczyta

HDFS Hadoop Distributed File System

Problem • Chcemy odczytać a następnie przetworzyć 1 TB danych – 1 komputer, 4 dyski, 100 Mb/s każdy = 45 min – 10 komputerów, 4 dyski, 100 MB/s każdy = 4, 5 min • Problemy – Niezawodność komputerów – Wielkość klastra – Wspólna infrastruktura (wydajna i niezawodna)

Rozwiązanie - Hadoop • Hadoop Core – Rozproszony system plików – Map/Reduce • • Open Source – Apache Java Środowiska: Linux, Windows, OS X, Solaris Start w 2004

“MOVING COMPUTATION IS CHEAPER THAN MOVING DATA”

HDFS • Zarządzane przez jeden węzeł – transmisja z wieloma • Pliki są dzielone – Transparentnie – Typowa wielkość bloków 64 MB (4 KB Unix) – Replikowane • • Wręcz liniowa skalowalność Dostęp poprzez Java, C, linię komend Działa na istniejącym systemie plików (ext 3, ext 4, XFS) Google GFS

Typy węzłów • HDFS – Name. Node – Data. Node • Map/Reduce – Job. Tracker – Task. Tracker

Name. Node Tylko jeden w klastrze Utrzymuje informacje o systemie plików Single Point of Failure Dane trzymane w pamięci RAM Liczba plików w klastrze ograniczona wielkośćią pamięci RAM • Secondary Name. Node – przechowuje kopię metadanych • • •

Data. Node • • Wiele w klastrze Zarządza blokami danych Obsługuje klienta Okresowo wysyła zawartość węzła do Name. Node

Architektura

Block Placement • Domyślnie 3 repliki • Umiejscowienie (Rack Awareness) – Na tym samym węźle – W innej szafie – W jeszcze innej szafie • Dane czytane są z najbliższego miejsca • Re-replikacja

Block Placement

Poprawność danych • CRC 32 • Tworzenie pliku – Suma kontrolna na każde 512 bajtów – generowane przez klienta – Przechowywane na Data. Node • Odczyt pliku – Dane i suma kontrolna przesyłana do klienta I weryfikowana • Okresowa walidacja przez Data. Node

Web UI • Name. Node • Data. Node • Job. Tracker

Bonus • • • Import Checkpoint Rebalancer Rack Awareness Safemode Fsck Recovery Mode Upgrade and rollback File permissions and security Scalability Synthetic Load Generator Web. HDFS REST API

Kto korzysta • • • Amazon Adobe Alibaba e. Bay Facebook IBM Last. fm Linked. In Powerset / Microsoft Yahoo – 40 tys. Komputerów, 4500 węzłów

A W PRAKTYCE…