UNIDAD 1 ESTUDIO DE UNA APLICACIN DISTRIBUIDA HADOOP

UNIDAD 1 ESTUDIO DE UNA APLICACIÓN DISTRIBUIDA: HADOOP HDFS PARA EL ALMACENAMIENTO DE BIG DATA 1

Índice 1 Introducción 2 Big Data 3 Arquitectura HDFS 4 Proceso de Lectura de datos 5 Proceso de Escritura de datos 6 Q&A 2

Generamos más datos que nunca 3

Usos potenciales • • • Análisis de negocio Recomendaciones de producto Previsión de demanda Seguridad ciudadana Estadística … 4

Big Data Toda esta enorme cantidad de información que se genera cada día y los sistema preparados para procesarla con el objetivo de ayudar en la toma de decisiones o análisis estadístico es lo que se conoce como Big Data. 5

Dificultades técnicas principales • Almacenamiento • Procesamiento • Heterogeneidad de los datos 6

Almacenamiento Aumento de capacidad de almacenamiento Disminución del precio por MB Aumento de ratio de transferencia en porcentajes muy inferiores 7

Almacenamiento - Contención 8

Procesamiento • Tradicionalmente para aumentar la capacidad de procesamiento se ha optado por aumentar los recursos disponibles en un servidor o adquirir otro de mayor capacidad. • Sin embargo, es posible repartir el trabajo a realizar distribuyéndolo entre servidores de menor capacidad con un almacenamiento propio y un conjunto de datos único, evitando contención, SPOF y abaratando costes. 9

Procesamiento “In pioneer days they used oxen for heavy pulling, and when one ox couldn’t budge a log, we didn’t try to grow a larger ox. ” Grace Hopper, early advocate of distributed computing (1906 -1992) 10

Heterogeneidad Las soluciones tradicionales de almacenamiento y tratamiento de los datos (RDBMS con herramientas de Business Intelligence o Data Mining) no son válidas, pues es difícil homogeneizar toda esta información en un modelo de datos que permita almacenarlo de manera estructural  11

Hadoop Para cubrir esta necesidad surgió en 2005 Hadoop es todo un ecosistema de aplicaciones que permite el procesamiento distribuido de largas cantidades de datos repartiéndolos entre todos los nodos de un cluster de servidores usando modelos de programación sencillos (Map. Reduce) 12

Arquitectura Hadoop HDFS • Bloques de gran tamaño replicados • Name. Nodes Metadatos • Data. Nodes Datos 13

Operación de lectura 14

Operación de escritura 15

Más información Hadoop: The Definitive Guide  Oracle Big Data (https: //www. oracle. com/bigdata/index. html) Cloudera (http: //www. cloudera. com) 16

Q&A 17