GCP - Clase 5 by Ing. Layla Scheli

GCP - Clase 5 by Ing. Layla Scheli https://padlet.com/laylascheli/55g9kg4e8xacx430 Hecho con encanto en-us 2022-06-01 00:19:11 UTC 2022-06-01 00:41:57 UTC hello@padlet.com Consigna laylascheli https://padlet.com/laylascheli/55g9kg4e8xacx430/wish/2206772134 Investigar y leer mas acerca de las herramientas y tecnologias pertenecientes al Ecosistema de Hadoop y la relacion con Spark]]> 2022-06-01 00:19:45 UTC https://padlet.com/laylascheli/55g9kg4e8xacx430/wish/2206772134 Alex https://padlet.com/laylascheli/55g9kg4e8xacx430/wish/2206787910 Ecosistema de Hadoop

El ecosistema de Hadoop esta compuesta por los siguientes módulos:

- Hadoop Common: documentación y archivos de ejecución

- HDFS : se encuentra en cada maquina y permite almacenar los datos distribuidos

- Yarn: SO distribuido para aplicación de BigData

- Ozone: Almacén de Objetos, escalable redundante y distribuido

- MapReduce: procesamiento distribuido y paralelo

Hadoop vs Spark

Hadoop se basa en MapReduce

Ejecuta tareas en lotes y usa el disco

Apache Spark es una evolución de Hadoop.

Spark se apoya en HDFS

Spark no se basa en MapReduce.

Spark procesa en micro lotes y usa la memoria

Spark es 100 veces mas rápido de Hadoop, cuando se ejecuta en memoria

]]> 2022-06-01 00:41:31 UTC https://padlet.com/laylascheli/55g9kg4e8xacx430/wish/2206787910