# data[].attributes.body
Forrester nombró recientemente a Snowflake y Google BigQuery como dos proveedores líderes de almacenamiento de datos como servicio ("DWaaS").

Snowflake es ideal para clientes con más casos de uso de almacenamiento de datos centrados en BI; particularmente aquellos clientes que buscan migrar uno o más almacenes de datos heredados a la nube.

BigQuery es una opción ideal para los clientes de almacenamiento de datos que se caracterizan por la necesidad de realizar consultas sobre la marcha y relacionadas con IA en conjuntos de datos masivos.

En la superficie, Snowflake y Google BigQuery parecen bastante similares:

Ambos admiten análisis de big data y casos de uso de inteligencia comercial ("BI") en grandes conjuntos de datos a escala de petabytes.

Ambos, junto con los pesos pesados ​​Amazon (AMZN) Redshift y Microsoft (MSFT) Synapse, están ofreciendo a los proveedores tradicionales de almacenamiento de datos como Teradata (TDC) y Oracle (ORCL) una "carrera por su dinero".

Además, comparten algunas similitudes de diseño de alto nivel, como la escalabilidad masiva sobre hardware básico, cómputo y almacenamiento desacoplados, y diseño de almacenamiento en columnas para una recuperación rápida de datos.

Las empresas que buscan migrar plataformas de almacenamiento de datos heredadas a la nube naturalmente intentan hacerlo de la manera más fácil posible. Tres consideraciones, entre muchas, incluyen la facilidad de mover (cargar) datos, la administración del almacén y la seguridad de los datos. Una vez más, vemos buenos resultados para Snowflake en términos de los datos de su cuadro de mando de Forrester para estos criterios.

Como era de esperar, encontramos a Google con una base más sólida en ciertas áreas, donde la oferta actual de Snowflake no es tan sólida. Una de esas áreas es el aprendizaje automático; y BigQuery, nuevamente, según el análisis de Forrester, parece tener una buena ventaja sobre Snowflake.

La tecnología subyacente de BigQuery se creó "desde cero" para realizar análisis ad hoc. Si bien los almacenes de datos tradicionales están destinados a servir como caballos de batalla de análisis, no son necesariamente "... adecuados para consultas ad hoc o análisis de datos de prueba y error, ya que [uno necesita] definir todas las consultas posibles en el diseño o la importación tiempo."

BigQuery, por diseño, aprovecha la potencia informática pura de la infraestructura de Google para, como dice directamente la primera cita, ejecutar una consulta sobre la marcha sobre un conjunto masivo de registros de datos en segundos. En efecto, un usuario de BigQuery puede explotar la infraestructura interna increíblemente poderosa de Google a través de la nube para analizar (posiblemente) hasta un billón de registros a velocidad interactiva sin tener que "hacer" nada. La respuesta de Snowflake al problema de la consulta ad-hoc es un poco diferente. Como Snowflake permite a los usuarios aprovisionar sus almacenes de datos virtuales a través de diferentes proveedores de nube (es decir, AWS, Azure, Google Cloud), cada almacén opera con una cantidad particular de poder de cómputo proporcionado por el servicio de nube de infraestructura subyacente. Este poder de cómputo puede aumentar o disminuir a medida que fluctúan las demandas en un almacén determinado. En el caso de una consulta ad-hoc, Snowflake, como se expresa en su cita, señala que se puede agregar capacidad informática para manejar consultas sobre la marcha para no interrumpir otras operaciones de almacenamiento de datos. Pero tenga en cuenta que esto no es lo mismo que tener la gran infraestructura informática de Google "al alcance de su mano", sin necesidad de ningún tipo de consideración de planificación o diseño. De hecho, una consulta ad-hoc compleja, tal vez agregando datos sobre decenas o cientos de miles de millones de registros, en Snowflake puede requerir la adición (dinámica o no) de una cantidad significativa de recursos informáticos virtuales al almacén de datos. Es posible que ese grado de escalado no resulte práctico, en cuyo caso la consulta podría verse "forzada" a ejecutarse con muchos menos recursos informáticos, lo que lleva (quizás) a un tiempo de respuesta inaceptable.

# data[].attributes.body
Administracion:

1. Redshift: Debe seleccionar el tamaño de instancia correcto y configurar y escalar los nodos manualmente. Requiere experiencia en AWS.

2. Big query: Completamente sin servidor: el aprovisionamiento es automático.

3. Synapse: Ofrece opciones dedicadas y sin servidor.

Escalabilidad

1. Redshift: Almacenamiento y cómputo desacoplados con nodos RA3.

2. Big query: El almacenamiento y el cómputo se escalan de forma independiente. BigQuery gestiona automáticamente el escalado.

3. Synapse: La opción sin servidor escala automáticamente. Para la opción dedicada, el almacenamiento adicional debe agregarse manualmente.

Ecosistema de analitica

1. Redshift: Inteligencia empresarial con AWS Quicksight y lista de plataformas de análisis.

2. Big query: Google Workplace (carga simple de Google Sheets) y Google Cloud Business Intelligence con Looker.

3. Synapse: Ecosistema de Azure para análisis, incluido Power BI para inteligencia empresarial y Cosmos DB para NoSQL.

Ecosistema de Integraciones

1. Redshift: Integración de datos con AppFlow y DMS junto con socios en AWS Marketplace

2. Big query: Integración de datos nativos a través de Cloud Fusion.

3. Synapse: Integration supported with Azure Data Factory

# data[].attributes.body
Amazon RedShift:
Amazon Redshift is a fully managed, petabyte-scale data warehouse service in the cloud. You can start with just a few hundred gigabytes of data and scale to a petabyte or more. This enables you to use your data to acquire new insights for your business and customers.

The first step to create a data warehouse is to launch a set of nodes, called an Amazon Redshift cluster. After you provision your cluster, you can upload your data set and then perform data analysis queries. Regardless of the size of the data set, Amazon Redshift offers fast query performance using the same SQL-based tools and business intelligence applications that you use today.

BigQuery:
BigQuery combines a cloud-based data warehouse and powerful analytic tools. BigQuery stores data using a columnar storage format that is optimized for analytical queries. BigQuery presents data in tables, rows, and columns and provides full support for database transaction semantics ( ACID ).

Azure Synapse Analytics:
Azure Synapse is an enterprise analytics service that accelerates time to insight across data warehouses and big data systems. Azure Synapse brings together the best of SQL technologies used in enterprise data warehousing, Spark technologies used for big data, Data Explorer for log and time series analytics, Pipelines for data integration and ETL/ELT, and deep integration with other Azure services such as Power BI, CosmosDB, and AzureML.

# data[].attributes.body
Comparativa entre Redshift, Synapse y Big query:

Redshift
-Ecosistema analítico: Business Intelligence con AWS Quicksight

-Ecosistema de integraciones: Integración de datos con AppFlow y DMS en AWS Marketplace

-Escalabilidad: Almacenamiento y cómputo desacoplados con nodos
-Administración y Gestión: Se debe seleccionar el tamaño de instancia correcto y configurar y escalar los nodos manualmente. Requiere experiencia en AWS.

Synapse:

-Ecosistema analítico: Ecosistema de Azure para análisis que incluye PowerBI para inteligencia empresarial y CosmosDB para NoSQL.
-Ecosistema de integraciones: Integración compatible con Azure Data Factory
-Escalabilidad: La opción sin servidor escala automáticamente. Para la opción dedicada, el almacenamiento adicional debe agregarse manualmente.
-Administración y Gestión: Ofrece opciones dedicadas y sin servidor.

BigQuery:

-Ecosistema analítico: Google Workspace (carga simple de Hojas de cálculo de Google) y Google Cloud . Inteligencia de negocios con Looker.

-Ecosistema de integraciones: Integración de datos nativos a través de Cloud Fusion.

-Escalabilidad: El almacenamiento y el cómputo se escalan de forma independiente. BigQuery gestiona automáticamente el escalado.

-Administración y Gestión: Completamente sin servidor: el aprovisionamiento es automático.

# data[].attributes.body
Características BigQuery

1. Modelado predictivo y AA con BigQuery ML

BigQuery ML permite que los analistas y científicos de datos diseñen y pongan en funcionamiento modelos de AA a partir de datos estructurados o semiestructurados a escala mundial y directamente desde BigQuery, mediante SQL sencillo y en mucho menos tiempo que antes. Exporta modelos de BigQuery ML para la predicción en línea hacia Vertex AI o hacia tu propia capa de servicio. Obtén más información sobre los modelos que admitimos en la actualidad.

2. Análisis de datos de múltiples nubes con BigQuery Omni

BigQuery Omni es una solución de analítica de múltiples nubes flexible y completamente administrada que te permite analizar datos de forma segura y rentable en nubes como AWS y Azure. Usa la interfaz popular de BigQuery y de SQL estándar para responder preguntas y compartir resultados con rapidez desde un único panel en todos tus conjuntos de datos. Obtén más información sobre el lanzamiento en fase de DG aquí.

3. Análisis de datos interactivo con BigQuery BI Engine

BigQuery BI Engine es un servicio de análisis en memoria integrado en BigQuery que les permite a los usuarios analizar conjuntos de datos grandes y complejos de manera interactiva con un tiempo de respuesta de menos de un segundo para sus consultas y una alta simultaneidad. BI Engine se integra de forma nativa en Data Studio de Google mediante el uso de un nodo único de BI Engine, y acelera de forma nativa las demás herramientas de inteligencia empresarial gracias a la interfaz de SQL de BI Engine.

4. Análisis geoespacial con BigQuery GIS

En BigQuery GIS, se combinan de forma única la arquitectura sin servidores de BigQuery y la compatibilidad nativa con el análisis geoespacial para que puedas aumentar tus flujos de trabajo de analítica con inteligencia de ubicación. Simplifica tus análisis, consulta los datos espaciales de formas novedosas y descubre líneas de negocios completamente nuevas gracias a la compatibilidad con puntos, líneas, polígonos y multipolígonos arbitrarios en formatos de datos geoespaciales comunes.

Caracteristicas de Azure Synapse Analytics

Azure Synapse Analytics es un servicio de análisis ilimitado que reúne el almacenamiento de datos empresariales y el análisis de macrodatos.

Grupo SQL

Copiar trabajo

Flujo de datos

Tubería

Scripts SQL

Cuadernos Spark

Lecturas rápidas desde el almacenamiento

Ejecutar proyectos de AA

Visualización

Control de acceso

Caracteristicas de Amazon Redshift

La mayoría de las características que son compatibles con un clúster aprovisionado de Amazon Redshift también lo son con un punto de conexión sin servidor. A continuación, se enumeran algunas de las principales capacidades de Amazon Redshift que puede utilizar con un punto de conexión sin servidor.

Instantáneas: puede restaurar una instantánea de un punto de conexión sin servidor o de un clúster aprovisionado en su punto de conexión sin servidor. Para obtener más información, consulte Trabajo con instantáneas y puntos de recuperación.

Puntos de recuperación: Amazon Redshift Serverless crea automáticamente un punto de recuperación cada 30 minutos. Estos puntos de recuperación se conservan durante 24 horas. Puede utilizarlos para restaurar el punto de conexión sin servidor después de escrituras o eliminaciones involuntarias. Cuando se restaura desde un punto de recuperación, todos los datos de las bases de datos de su punto de conexión sin servidor lo hacen desde un punto anterior. También puede crear una instantánea a partir de un punto de recuperación si necesita conservar uno de ellos durante un periodo más prolongado. Para obtener más información, consulte Trabajo con instantáneas y puntos de recuperación.

Capacidad base de RPU: puede establecer una capacidad base en unidades de procesamiento de Redshift (RPU). Una RPU proporciona 16 GiB de memoria. Amazon Redshift utiliza esta medida para limitar los recursos, y por tanto el costo, empleados para su carga de trabajo. Puede aumentar este valor al objeto de mejorar el rendimiento de la consulta. El valor predeterminado es 128 RPU.

Límites de uso de los datos compartidos entre regiones: puede limitar la cantidad de datos que se transfieren de una región productora a una región consumidora. Los costos de transferencia de datos varían en función de la Región de AWS.

Funciones definidas por el usuario (UDF): puede ejecutar funciones definidas por el usuario (UDF) en el punto de conexión sin servidor. Para obtener más información, consulte Creación de funciones definidas por el usuario en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Procedimientos almacenados: puede ejecutar procedimientos almacenados en el punto de conexión sin servidor. Para obtener más información, consulte Creación de procedimientos almacenados en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Vistas materializadas: puede crear vistas materializadas en el punto de conexión sin servidor. Para obtener más información, consulte Creación de vistas materializadas en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Funciones espaciales: puede ejecutar funciones espaciales en el punto de conexión sin servidor. Para obtener más información, consulte Consulta de datos espaciales en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Consultas federadas: puede ejecutar consultas que unan datos con las bases de datos de Aurora y Amazon RDS desde el punto de conexión sin servidor. Para obtener más información, consulte Consulta de datos con consultas federadas en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Consultas de lago de datos: puede ejecutar consultas que unan datos con su lago de datos de Amazon S3 mediante el punto de conexión sin servidor.

HyperLogLog: puede ejecutar funciones de HyperLogLog en el punto de conexión sin servidor. Para obtener más información, consulte Uso de bocetos de HyperLogLog en la Guía para desarrolladores de bases de datos Amazon Redshift.

Consulta de datos entre distintas bases de datos: puede consultar datos entre bases de datos en el punto de conexión sin servidor. Para obtener más información, consulte Consulta de datos entre distintas bases de datos en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Uso compartido de datos: puede acceder a los recursos compartidos de datos en clústeres aprovisionados con el punto de conexión sin servidor. Para obtener más información, consulte Compartir datos entre clústeres en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Consulta de datos semiestructurados: puede capturar y almacenar datos semiestructurados con el tipo de datos SUPER en el punto de conexión sin servidor. Para obtener más información, consulte Captura y consulta de datos semiestructurados en la Guía para desarrolladores de bases de datos de Amazon Redshift.

Machine learning de Amazon Redshift: puede utilizar el machine learning de Amazon Redshift con su punto de conexión sin servidor. Para obtener más información, consulte Uso de machine learning en la Guía para desarrolladores de bases de datos Amazon Redshift.

Comandos y funciones SQL: salvo algunas excepciones (como REBOOT_CLUSTER), puede utilizar comandos y funciones SQL de Amazon Redshift en su punto de conexión sin servidor. Para obtener más información, consulte la Referencia de la SQL en la Guía para desarrolladores de bases de datos de Amazon Redshift..

# data[].attributes.body
•Realizar una comparación entre las características y particularidades de las tecnologías de Warehouse, anteriormente mencionadas.

# data[].attributes.body
Según lo definido por Amazon, “Redshift es un almacén de datos rápido y completamente administrado que hace que sea simple y rentable analizar todos sus datos utilizando SQL estándar y sus herramientas de Business Intelligence (BI) existentes. Le permite ejecutar consultas analíticas complejas contra petabytes de datos estructurados, utilizando una optimización de consultas sofisticada, almacenamiento en columnas en discos locales de alto rendimiento y ejecución de consultas masivamente paralelas”.

“BigQuery es un almacén de datos en la nube sin servidor, altamente escalable y rentable con un motor de BI en memoria y aprendizaje automático integrado”, según Google.

BigQuery es una versión externalizada de una herramienta interna, Dremel, un sistema de consulta para el análisis de datos anidados de solo lectura que Google desarrolló en 2006. La empresa lanzó BigQuery en 2012 para proporcionar un conjunto básico de funciones disponibles en Dremel para desarrolladores externos. . Dremel usa consultas similares a SQL.

Azure Synapse usa Azure Data Lake Storage Gen2 como almacén de datos y un modelo de datos coherente que incorpora secciones de administración, supervisión y gestión de metadatos. En el área de seguridad, le permite proteger, monitorear y administrar sus datos y soluciones de análisis, por ejemplo, utilizando el inicio de sesión único y la integración de Azure Active Directory. Básicamente, Azure Synapse completa todo el proceso de integración de datos y ETL y es mucho más que un almacén de datos normal, ya que incluye etapas adicionales del proceso que brindan a los usuarios la posibilidad de crear también informes y visualizaciones.