ECOSISTEMA DE APACHE HADOOP Y BIG DATA by Anderson Flores https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx BY: FLORES ANDERSON , TADEO ALEX , ZUÑIGA ANDRE, ASCENCIO RONAL en-us 2025-07-17 00:43:23 UTC 2025-07-17 02:17:09 UTC hello@padlet.com https://aitor-medrano.github.io/iabd2223/hadoop/images/03hadoop-logo.jpg Hadoop Distributed File System (HDFS) andersonflores2094 https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521655490 Función: HDFS permite almacenar grandes archivos dividiéndolos en bloques más pequeños (generalmente de 128 MB) y distribuyéndolos a través de múltiples nodos en un clúster. También replica estos bloques para asegurar alta disponibilidad y tolerancia a fallos.


Componentes Clave:

  • NameNode: Es el "maestro" del HDFS. Gestiona el espacio de nombres del sistema de archivos (la estructura de directorios y archivos) y regula el acceso de los clientes a los archivos. Mantiene metadatos sobre la ubicación de los bloques de datos en los DataNodes.

  • DataNode: Son los "esclavos". Almacenan los bloques de datos reales. Cada DataNode envía periódicamente informes al NameNode sobre los bloques que almacena.

]]> 2025-07-17 00:53:06 UTC https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521655490 Yet Another Resource Negotiator (YARN) tadeohuamanfernandoalex https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521659477 Función: YARN separa la gestión de recursos de la lógica de procesamiento de datos, permitiendo que múltiples motores de procesamiento de datos (como MapReduce, Spark) operen sobre los datos almacenados en HDFS.


Componentes Clave:

  • Resource Manager: Se ejecuta en el nodo maestro y es el programador de recursos global. Asigna recursos (contenedores) a las aplicaciones en función de sus necesidades y realiza un seguimiento de los Node Managers.

  • Node Manager: Se ejecuta en cada nodo esclavo del clúster. Se comunica con el Resource Manager, registra la información de los recursos del nodo y lanza y supervisa los contenedores (procesos) para las aplicaciones.

]]> 2025-07-17 00:55:50 UTC https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521659477 ¿Qué es Hadoop? andersonflores2094 https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521663985 Framework de código abierto para el almacenamiento y procesamiento distribuido de grandes volúmenes de datos (Big Data) en clústeres de computadoras. Está diseñado para escalar horizontalmente desde unos pocos servidores hasta miles de máquinas, cada una ofreciendo almacenamiento y procesamiento local. Este sistema permite manejar datos de forma eficiente, tolerante a fallos y de manera paralela, lo que lo hace ideal para aplicaciones que requieren análisis masivo de información en tiempo real o por lotes. Es ampliamente utilizado en entornos empresariales, científicos y tecnológicos.

]]> 2025-07-17 00:59:04 UTC https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521663985 TutorialsPoint - Hadoop Tutorial andersonflores2094 https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521670341 link:

https://aitor-medrano.github.io/iabd2223/hadoop/03hadoop.html

]]> 2025-07-17 01:02:31 UTC https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521670341 MapReduce en Hadoop https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521727075 Es un modelo de programación que permite procesar grandes cantidades de datos en paralelo y de forma distribuida.ases del proceso:

  • Map (Mapeo):
    Divide los datos en partes pequeñas y genera pares clave-valor.


  • Reduce (Reducción):
    Agrupa las claves y resume los resultados.


Ventajas:

  • Procesamiento paralelo y escalable

  • Maneja grandes volúmenes de datos

Tolerante a fallo

Usos comunes:

  • Conteo de palabras

  • Análisis de logs

  • Procesamiento de datos de sensores o redes sociales

]]> 2025-07-17 01:34:29 UTC https://padlet.com/andersonflores2094/rz5qxmxy2hfzdvgx/wish/3521727075