# data[].attributes.headline
Schenkel Silvia, Lujan Maldonado Cristian C

# data[].attributes.subject
Schenkel Silvia, Lujan Maldonado Cristian C

# data[].attributes.headline
Schenkel Silvia, Lujan Maldonado Cristian C

# data[].attributes.subject
Schenkel Silvia, Lujan Maldonado Cristian C

# data[].attributes.attachment_link.readable_text
SISTEMAS DE BASES DE DATOS PARALELOS

Taller Introductorio a Bases de Datos Distribuidas 2021

Lorem ipsum dolor sit amet, consectetur adipiscing elit. In faucibus urna augue, vel varius risus maximus vel.

Localización de Datos en paralelo

Lorem ipsum dolor sit amet, consectetur adipiscing elit. In faucibus urna augue, vel varius risus maximus vel.

Procesamiento de consultas en paralelo

Lorem ipsum dolor sit amet, consectetur adipiscing elit. In faucibus urna augue, vel varius risus maximus vel.

Equilibrio de cargas

Lorem ipsum dolor sit amet, consectetur adipiscing elit. In faucibus urna augue, vel varius risus maximus vel.

Clústeres de Bases de Datos

Lorem ipsum dolor sit amet, consectetur adipiscing elit. In faucibus urna augue, vel varius risus maximus vel.

Conclusión

Muchas aplicaciones de uso intensivo de datos requieren soporte para bases de datos muy grandes.

Introducción

Indice

El comercio electrónico, el almacenamiento de datos y la minería de datos son ejemplos de aplicaciones de uso intensivo de datos que requieren soporte para bases de datos muy grande. Por lo general

Introduction

OLTP

Se accede a Bases de Datos muy grandes a través de un gran número de transacciones simultáneas (por ejemplo, realizar pedidos en línea en una tienda electrónica)

OLAP

Se accede a Bases de Datos muy grandes a través de un gran número de consultas complejas (por ejemplo, consultas de apoyo a la toma de decisiones)

El soporte de Bases de datos muy grandes de manera eficiente para OLTP u OLAP se puede abordar combinando computación paralela y administración de bases de datos distribuidas.

aplicaciones de procesamiento ANALÍTICO en línea

aplicaciones de procesamiento de transacciones en línea

1

Alto rendimiento

Disminución del tiempo de respuesta de una consulta compleja mediante el paralelismo.

2

Alta Disponibilidad

Esto proporciona un servicio ininterrumpido a los usuarios.

3

Extensibilidad

es la capacidad de expandir el sistema sin problemas agregando potencia de procesamiento y almacenamiento al sistema.

Un sistema de base de datos paralelo debería proporcionar las siguientes ventajas

El paralelismo puede aumentar el rendimiento mediante el Inter-query y el intra-query.

VentajaEl sistema de base de datos en paralelo mejora el rendimiento mediante el uso de múltiples recursos en paralelo, como el uso de múltiples CPU y discos en paralelo.Desventajael paralelismo a gran escala puede aumentar su tiempo total (mediante comunicación adicional)

Alto Rendimiento

Disponibilidad es la accesibilidad de un sistema o tiempo productivo del sistema.El costo del tiempo improductivo puede incluir pérdidas de salarios,perdida de mano de obra y equipo inactivo. Para una organización grande, el costo del tiempo improductivo puede ser de cientos a miles de dólares por hora.Debido a que un sistema de base de datos en paralelo consta de muchos componentes redundantes, puede aumentar la disponibilidad de datos y la tolerancia a fallas. Esto proporciona un servicio ininterrumpido a los usuarios.

Alta Disponibilidad

Es la capacidad de expandir el sistema sin problemas agregando potencia de procesamiento y almacenamiento.Dos ventajas de extensibilidad: aceleración lineal y escalamiento lineal.

Extensibilidad

* Acelerar es el proceso de aumentar el grado de paralelismo (de recursos) para completar una tarea en ejecución en menos tiempo.El tiempo necesario para ejecutar la tarea es inversamente proporcional al número de recursos.

El escalado lineal se refiere a un rendimiento sostenido para un aumento lineal, tanto en el tamaño de la base de datos como en el número de nodos. Es la capacidad de mantener el rendimiento constante, cuando el número de procesos y recursos aumenta proporcionalmente.El escalamiento lineal no es posible en la mayoría de las situaciones debido a los gastos de coordinación.

Extensibilidad

Arquitectura DBMS paralelos:

Dado un presupuesto de recursos fijo, el trabajo se divide entre recursos para lograr niveles deseados de rendimiento (escalamiento y aceleración) y disponibilidad.Un DBMS paralelo usa los servicios de una red de alta rapidez, sistema operativo y sistema de almacenamiento para coordinar la división del trabajo entre recursos.El grado de recursos compartidos determina las arquitecturas para procesamiento.

Arquitecturas DBMS paralelos:

Nos enfocamos en los cuatro elementos principales de hardware: interconexión, procesadores (P), memoria principal (M) y discos.

01

Memoria compartida:

cualquier procesador tiene acceso a cualquier módulo de memoria o unidad de disco a través de una interconexión rápida (por ejemplo, un bus de alta velocidad o un conmutador de barra cruzada).

02

Disco compartido:

Cualquier procesador tiene acceso a cualquier unidad de disco a través del acceso de interconexión pero exclusivo (no compartido) a su memoria principal.

03

Shared-Nothing (Nada-compartido)

Cada procesador tiene acceso exclusivo a su memoria principal y unidad (es) de disco.

04

Arquitecturas híbridas:

Varias combinaciones de las tres arquitecturas básicas son posibles para obtener diferentes compensaciones entre costo, rendimiento, extensibilidad, disponibilidad, etc.

Arquitecturas DBMS paralelos

Todos los procesadores están bajo el control de un único sistema operativo.Procesadores y discos comparten la memoria en común vía bus de comunicación o interconexión de red

Memoria Compartida

simplicidad y equilibrio de carga.'+' Es eficiente la comunicación entre procesadores,dado que la metainformación (directorio) y la información de control (por ejemplo, tablas de bloqueo) pueden ser compartidas por todos los procesadores.El equilibrio de carga es fácil de lograr, ya que se puede lograr en tiempo de ejecución utilizando la memoria compartida asignando cada nueva tarea al procesador menos ocupado.

Ventajas

Problemas

Memoria Compartida

alto costo, extensibilidad limitada y baja disponibilidad.La interconexión incurre en un alto costo.La extensibilidad se limita a unas pocas decenas de procesadores, normalmente hasta 16 para obtener el mejor costo/rendimiento.Dado que todos los procesadores comparten el espacio de memoria, una falla de memoria puede afectar a la mayoría de los procesadores y dañar la disponibilidad.

.Todos los procesadores comparten el medio de almacenamiento.* Cada procesador cuenta con su memoria principal.- '+' el bus no es cuello de botella- '+' proporcionan tolerancia a fallas de procesador.- '-' el cuello de botella ocurre a nivel de conexión con el disco.

Disco Compartido

Menor costo, alta extensibilidad, equilibrio de carga, disponibilidad.Dado que cada procesador tiene suficiente memoria principal, se pueden minimizar las interferencias en el disco compartido.La extensibilidad puede ser mejor, normalmente hasta cien procesadores.Dado que las fallas de memoria pueden aislarse de otros nodos, la disponibilidad puede ser mayor.

Ventajas

Desventajas

Disco Compartido

presenta una mayor complejidad y posibles problemas de rendimiento.Requiere protocolos de sistema de base de datos distribuidos, como bloqueo distribuidoEl acceso al disco compartido es un posible cuello de botella.

cada procesador tiene acceso exclusivo a su memoria principal y unidad (es) de disco.Cada nodo puede verse como un sitio local (con su propia base de datos y software) en un sistema de base de datos distribuido.La mayoría de las soluciones diseñadas para bases de datos distribuidas, como la fragmentación de bases de datos, la gestión de transacciones distribuidas y el procesamiento de consultas distribuidas, pueden reutilizarse.

Shared-Nothing (Nada-compartido)

Menor costo, alta extensibilidad y alta disponibilidad. La ventaja de costo es mejor que la del disco compartido que requiere una interconexión especial para los discos.Con una cuidadosa partición de los datos en varios discos, se podría lograr una aceleración y escalado lineales casi lineales para cargas de trabajo simples.Al replicar datos en múltiples nodos, también se puede lograr una alta disponibilidad.

Ventajas

Desventajas

Shared-Nothing (Nada-compartido)

Es mucho más complejo de administrar que la memoria compartida o el disco compartido. La mayor complejidad se debe a la implementación necesaria de funciones de bases de datos distribuidas asumiendo un gran número de nodos. Además, el equilibrio de carga es más difícil de lograr porque depende de la efectividad del particionamiento

Intentan obtener las ventajas de diferentes arquitecturas: generalmente, la eficiencia y simplicidad de la memoria compartida y la extensibilidad y el costo del disco compartido o nada-compartido.Dos arquitecturas híbridas populares: NUMA y Clúster.NUMA(Non-UniformMemoryAccess):

Arquitecturas Híbridas:

Desventajas: el costo de la arquitectura es mayor en comparación con otras arquitecturas.

Un clúster es un conjunto de nodos de servidor independientes interconectados para compartir recursos y formar un solo sistema. Los recursos compartidos, denominados recursos agrupados, pueden ser hardware como disco o software como servicios de gestión de datos. En comparación con un sistema distribuido, un clúster se concentra geográficamente (en un solo sitio) y está formado por nodos homogéneos.

Clúster

Hace algunos años, no compartir nada era la única opción para los sistemas de gama alta. Sin embargo, los avances recientes en las tecnologías de conectividad de disco, hacen que el disco compartido sea una solución alternativa.En particular, el disco compartido es ahora la arquitectura preferida para las aplicaciones OLTP porque es más fácil admitir transacciones ACID (atómica, consistente, aislada (isolated) y durable) y control de concurrencia distribuido.Pero para las bases de datos OLAP que suelen ser muy grandes y en su mayoría de solo lectura, la arquitectura preferida es no compartir nada.

Discusión:

La ubicación de los datos en un sistema de bases de datos en paralelo presenta similitudes con la fragmentación de datos en bases de datos distribuidas.

Localización de datos en paralelo

*Una similitud obvia es que la fragmentación se puede utilizar para aumentar el paralelismo. La fragmentación vertical también se puede utilizar para aumentar el paralelismo y el equilibrio de carga tanto como en las bases de datos distribuidas.* Otra similitud es que, dado que los datos son mucho más grandes que los programas, la ejecución debe ocurrir, en la medida de lo posible, donde residen los datos.

SIMILITUDES

El principal problema es evitar desequilibrar los recursos, lo que puede provocar que todo el sistema baje el rendimiento (por ejemplo, un nodo termina haciendo todo el trabajo mientras que los demás permanecen inactivos).

Equilibrio de cargas

DIFERENCIAS

*existen dos diferencias importantes con el enfoque de base de datos distribuida. *Primero, no es necesario maximizar el procesamiento local (en cada nodo) ya que los usuarios no están asociados con nodos en particular.*En segundo lugar, el equilibrio de carga es mucho más difícil de lograr en presencia de una gran cantidad de nodos.

Localización de datos en paralelo

Procesamiento de consultas en paralelo

La ejecución de consultas en paralelo puede aprovechar dos formas de paralelismo:

El paralelismo Inter-query permite la ejecución paralela de múltiples consultas generadas por transacciones concurrentes. Esta técnica permite ejecutar múltiples consultas en diferentes procesadores simultáneamente.Paralelismo intra-query, en esta técnica, la consulta se divide en subconsultas que pueden ejecutarse simultáneamente en diferentes procesadores, esto minimizará el tiempo de evaluación de la consulta.

Procesamiento de consultas en paralelo

Equilibrio de Carga

Un buen equilibrio de carga es fundamental para el rendimiento de un sistema paralelo. El tiempo de respuesta de un conjunto de operadores paralelos es el del más largo. Por lo tanto, minimizar el tiempo del más largo es importante para minimizar el tiempo de respuesta. Equilibrar la carga de diferentes transacciones y consultas entre diferentes nodos también es esencial para maximizar el rendimiento. Aunque el optimizador de consultas en paralelo incorpora decisiones sobre cómo ejecutar un plan de ejecución en paralelo, el equilibrio de carga puede verse afectado por varios problemas que surgen en el momento de la ejecución. Las soluciones a estos problemas pueden obtenerse a nivel intra e interoperador. Problemas de ejecución paralela y sus soluciones:

Los principales problemas que presenta la ejecución de consultas en paralelo son la inicialización, la interferencia y el sesgo.

Equilibrio de Cargas

Problemas de ejecución paralela

La ejecución de consultas en paralelo puede aprovechar dos formas de paralelismo:Equilibrio de carga intra-operador:

Un buen equilibrio de carga dentro del operador depende del grado de paralelismo y la asignación de procesadores para el operador. Para algunos algoritmos, por ejemplo, el algoritmo de combinación de hash en paralelo, estos parámetros no están limitados por la ubicación de los datos. Por lo tanto, el hogar del operador (el conjunto de procesadores donde se ejecuta) debe decidirse cuidadosamente. El problema de sesgo dificulta que un optimizador de consultas en paralelo tome esta decisión de forma estática (en tiempo de compilación), ya que requeriría un modelo de costos muy preciso y detallado. Por lo tanto, las principales soluciones se basan en técnicas adaptativas o especializadas que se pueden incorporar en un optimizador de consultas híbrido.

Equilibrio de Cargas

La ejecución de consultas en paralelo puede aprovechar dos formas de paralelismo:Algoritmos paralelos para el procesamiento de datos:Equilibrio de carga inter-operadores:

Para obtener un buen equilibrio de carga a nivel inter-operador, es necesario elegir, para cada operador, cuántos y qué procesadores asignar para su ejecución. Esto debe hacerse teniendo en cuenta el paralelismo de la canalización, que requiere comunicación entre operadores. Esto es más difícil de lograr en nada compartido por el grado de paralelismo y la asignación de procesadores a los operadores, cuando se decide en la fase de optimización paralela, se basan en un modelo de costos posiblemente inexacto. En segundo lugar, la elección del grado de paralelismo está sujeta a errores porque tanto los procesadores como los operadores son entidades discretas. El enfoque principal en shared-nothing es determinar dinámicamente (justo antes de la ejecución) el grado de paralelismo y la localización de los procesadores para cada operador. En disco compartido y memoria compartida, hay más flexibilidad ya que todos los procesadores tienen el mismo acceso a los discos. Dado que no hay necesidad de particiones de relaciones físicas, cualquier procesador puede asignarse a cualquier operador

Equilibrio de Cargas

La ejecución de consultas en paralelo puede aprovechar dos formas de paralelismo:Algoritmos paralelos para el procesamiento de datos:Equilibrio de carga Intra-Query:Equilibrio de carga Intra-Query:

El equilibrio de carga intra-Query debe combinar el paralelismo intra e inter-operador. Hasta cierto punto, dada una arquitectura paralela, las técnicas para el equilibrio de carga intra-operador o inter-operador se pueden combinar. Sin embargo, en el contexto importante de sistemas híbridos como NUMA o clúster, los problemas de balanceo de carga se agravan porque deben abordarse en dos niveles, localmente entre los procesadores de cada nodo de memoria compartida (nodo SM) y globalmente entre todos los nodos. Ninguno de los enfoques para el equilibrio de carga entre- operadores e intra-operadores puede extenderse fácilmente para abordar este problema. Las estrategias de equilibrio de carga para nada-compartido experimentarían un empeoramiento de problemas aún más graves (por ejemplo, complejidad e inexactitud del modelo de costos). Por otro lado, la adaptación de soluciones dinámicas desarrolladas para sistemas de memoria compartida supondría una gran sobrecarga de comunicación. Una solución general para el equilibrio de carga en sistemas híbridos es el modelo de ejecución denominado Procesamiento dinámico (DP). La idea fundamental es que la consulta se descompone en unidades autónomas de procesamiento secuencial, cada una de las cuales puede ser realizada por cualquier procesador.

Equilibrio de Cargas

Clústeres de bases de datos

Los clústeres de servidores de PC son otra forma de computadora paralela que proporciona una alternativa rentable a las supercomputadoras o multiprocesadores estrechamente acoplados. Por ejemplo, se han utilizado con éxito en la informática científica, la recuperación de información web (por ejemplo, el motor de búsqueda de Google) y el almacenamiento de datos. Sin embargo, estas aplicaciones suelen ser de lectura intensiva, lo que facilita la explotación del paralelismo. Para admitir aplicaciones de actualización intensiva que son típicas del procesamiento de datos comerciales, se deben proporcionar capacidades de base de datos paralelas completas, incluido el soporte de transacciones. Esto se puede lograr utilizando un DBMS paralelo implementado sobre un clúster. En este caso, todos los nodos del clúster son homogéneos, bajo el control total del DBMS paralelo. Una solución es utilizar un grupo de bases de datos, que es un grupo de bases de datos autónomas, cada una administrada por un DBMS estándar. Una diferencia importante con un DBMS paralelo implementado en un clúster es el uso de un DBMS de "caja negra" en cada nodo. En su forma más simple, un clúster de base de datos puede verse como un sistema de bases de datos múltiples en un clúster. Sin embargo, se ha dedicado mucha investigación a aprovechar al máximo el entorno del clúster (con una comunicación rápida y confiable) con el fin de mejorar el rendimiento y la disponibilidad mediante la explotación de la replicación de datos. Los principales resultados de esta investigación son nuevas técnicas de replicación, equilibrio de carga, procesamiento de consultas y tolerancia a fallas.

Clústeres de bases de datos

Conclusión

Las técnicas de administración de datos en paralelo amplían las técnicas de bases de datos distribuidas para obtener alto rendimiento, alta disponibilidad y extensibilidad. Esencialmente, las soluciones para la gestión de transacciones, el control de concurrencia distribuido, laconfiabilidad, la atomicidad y la replicación se pueden reutilizar. Sin embargo, los problemas críticos son la ubicación de datos, la ejecución de consultas en paralelo, el procesamiento de datos en paralelo, la optimización de consultas en paralelo y el equilibrio de carga.

Conclusión

Las soluciones a estos problemas son más complicadas que en los DBMS distribuidos porque la cantidad de nodos puede ser mucho mayor. Además, las técnicas de administración de datos en paralelo utilizan diferentes supuestos, como la interconexión rápida y los nodos homogéneos, que brindan más oportunidades de optimización.

* Principles of Distributed Database Systems Third Edition M. Tamer Özsu , Patrick Valduriez* Administración de bases de datos. Diseño y desarrollo de aplicaciones. Tercera edición. Michael V. Mannino. University of Colorado at Denver

Bibliografía

Grupo 4: María de Los Ángeles SANTILLÁNy Silvana FUENTES

Taller Introductorio a Bases de Datos Distribuidas 2021

Facultad de Ciencias Exactas y Naturales UNLPAM

# data[].attributes.attachment_link.title
SISTEMA DE BASES DE DATOS PARALELOS by silvanafuentes3 on Genially

# data[].attributes.attachment_link.description
SISTEMAS DE BASES DE DATOS PARALELOS Taller Introductorio a Bases de Datos Distribuidas 2021 Lorem ipsum dolor sit amet, consectetur adipiscing elit. In faucibus urna augue, vel varius risus maximus vel. Localización de Datos en paralelo Lorem ipsum dolor sit amet, consectetur adipiscing elit. In faucibus urna augue, vel varius risus maximus vel.

# data[].attributes.attachment_link.readable_text
Gestión de datos web (Web Data Management)

EMPEZAR

Alina SchablViviana Echeverría

se centró en la busqueda de palabras claves y motores de busquedaluego se centró en la consulta declarativa de datos webla gestión de datos XML y datos xml distribuidos

Investigación sobre la Gestión de Datos Web:

introducción

procesamiento XML

bibliografía

Fin

consulta web

Conclusión

búsquedas web

modelo bow-tie

índice de presentación

La web, en su forma actual, puede verse como dos componentes distintos pero relacionados.La web indexable públicamente (PIW)La web oculta

Busquedas y consultas son diferentes entre una y otra

INTRODUCCIÓN

UN REPOSITORIO DE DATOS Y DOCUMENTOS - Modelo Bow-Tie

bUSQUEDA web

Las búsquedas se realizan en base de datos de paginas web que se han recopilado e indexado

Motor de búsqueda:RastreadorMódulo de controlMódulo indexadorMódulo de ranking

Consulta web

Enfoque de datos semiestructuradosEnfoque del lenguaje de consultas webRespuesta a preguntasBúsqueda y consulta en la web ocultaRastreo de la web ocultaMetabúsqueda

DISTINTOSENFOQUES

+ info

MetabúsquedaDada la consulta de un usuario, un metabuscador realiza las siguientes tareas:1. Selección de la base de datos: se recopila cierta información sobre cada base de datos, que se conoce como resumen de contenido, es información estadística, que generalmente incluye las frecuencias de documento de las palabras que aparecen en la base de datos.2. Traducción de consultas: se traduce la consulta a un formato adecuado para cada base de datos (por ejemplo, completando ciertos campos en la interfaz de búsqueda de la base de datos).3. Fusión de resultados: se produce la recopilación de los resultados de las distintas bases de datos, se fusionan ordenándolos y se devuelven al usuario.Metabuscadoresmás utilizadosTripadvisor, Booking, Trivago, Expedia, etc.. Estos nos indican en qué páginas podemos encontrar las mejores ofertas tanto de vueloscomo de alojamientos. Zapmetaes uno de los metabuscadores más rápidos que ofrece resultados filtrados en clusters que ayudan a una mejor selección de la información. Dogpile.Busca a la vez en Google, Yahoo y Yandex. Yippy permite la búsqueda en blogs.

Un rastreador de la web oculta debe poder realizar dos tareas:Enviar consultas a la interfaz de búsqueda de la base de datos: Consiste en analizar la interfaz de búsqueda de la base de datos y crear una representación para ella. Esta representación interna especifica los campos utilizados en la interfaz, sus tipos ( ej. cuadros de texto, etc.), sus dominios, y también las etiquetas asociadas con estos campos. Extrayendo estas etiquetas requieren un análisis exhaustivo de la estructura HTML de la página.Analizar las páginas de resultados devueltas y extraer información relevante de ellos: Una vez enviado el formulario, la página devuelta debe analizarse, por ejemplo, para ver si es una página de datos o una página de refinamiento de búsqueda. Además se recorre, así como todas las páginas a las que enlaza (especialmente páginas que tienen más resultados), hasta que no se puedan encontrar más páginas que pertenezcan al mismo dominio. Sin embargo las páginas devueltas suelen contener una gran cantidad de datos irrelevantes, además de los resultados reales.

BUSQUEDAS EN LA WEB OCULTAVENTAJASEl tamaño de la web oculta (en términos de Páginas HTML) es considerablemente más grande que el PIW, por lo que la probabilidad de encontrar las respuestas a las consultas de los usuarios es mucho mayor.Los datos almacenados en la web oculta suelen ser de mucha mayor calidad que las que se encuentran en las páginas web públicas, ya que están debidamente seleccionadas. Si se puede acceder a ellos, se puede mejorar la calidad de las respuestas. DESVENTAJAS1. Los rastreadores ordinarios no se pueden utilizar para buscar en la web oculta, ya que no existen ni páginas HTML, ni hipervínculos para rastrear.2. Solo se puede acceder a los datos de las bases de datos ocultas mediante una búsqueda especial, que requiere acceso a esta interfaz.3. Generalmente se desconoce la estructura subyacente de la base de datos, y los proveedores de datossuelen ser reacios a proporcionar información sobre sus datos que podrían ayudar en el proceso de búsqueda. Uno tiene que trabajar las interfaces proporcionadas por estas fuentes de datos.Ejemplos de buscadores para la WEB Oculta:Wayback Machine (https://web.archive.org), La Biblioteca Virtual WWW (http://vlib.org), Surfwax (http://lookahead.surfwax.com/).

Sistemas de respuesta a preguntas (QA)Se extienden las capacidades de las consultas de búsqueda de palabras clave de dos formas fundamentales.1- Aceptan preguntas de lenguaje natural que luego se analizan para determinar la consulta que se está planteando. 2- Realizan una búsqueda para encontrar la respuesta adecuada.Los usuarios deben especificar consultas complejas en lenguaje natural que pueden ser difíciles de especificar, como simples solicitudes de búsqueda de palabras clave. Con este sistema, también se permiten hacer preguntas sin un conocimiento completo de la organización de datos.Posteriormente buscan en el corpus de documentos y devuelven respuestas explícitas en lugar de enlaces a documentos que pueden ser relevantes para la consulta. Esto no significa que devuelvan respuestas exactas como lo hacen los DBMS tradicionales.

Lorem ipsum dolorLorem ipsum dolorLorem ipsum dolorLorem ipsum dolorLorem ipsum dolorLorem ipsum dolorLorem ipsum dolorLorem ipsum dolor

consulta web

La consulta declarativa y la ejecución eficiente de consultas ha sido un enfoque importante de la tecnología de bases de datos. Sería beneficioso si las técnicas de la base de datos se pudieran aplicar a la web sin embargo existen dificultades para trasladar los conceptos tradicionales de consulta de bases de datos a los datos web.

dificultades

La consulta de la base de datos asume la existencia de un esquema estricto los datos web están semiestructurados.La web es más que datos (y documentos) semiestructurados existen enlaces.No existe un lenguaje comúnmente aceptado, similar a SQL, para consultar datos web Para XML ha surgido (XQuery) es probable que este idioma se convierta en dominante.

XML ( Extensive Markup Language) es una codificación preferidade la Web.Propone una sintaxis simple con flexibilidad y legibilidad por lo que ha sidoadoptadocomo un lenguaje de representación estándar para datos en la Web.

Lorem salutandi eu mea, eam in soleat iriure assentior. Tamquam lobortis id qui. Ea sanctus democritum mei, per eu alterum electram adversarium. Ea vix probo dicta iuvaret, posse epicurei suavitate eam an, nam et vidit menandri. Ut his accusata petentium.In mel saperet expetendis. Vitae urbanitas sadipscing nec ut, at vim quis lorem labitur. Exerci electram has et, vidit solet tincidunt quo ad, moderatius contentiones nec no. Nam et puto abhorreant scripserit, et cum inimicus accusamus.Mei eu mollis albucius, ex nisl contentiones vix. Duo persius volutpat at, cu iuvaret epicuri mei. Duo posse pertinacia no, ex dolor contentiones mea. Nec omnium utamur dignissim ne. Mundi lucilius salutandi an sea, ne sea aeque iudico comprehensam. Populo delicatissimi ad pri. Ex vitae accusam vivendum pro.

Enfoque de datos semiestructurados

Trata a los datos como una colección de datos semiestructurados.Sirve para modelar datos web que sepueden representarcomo un grafo.Acepta que los datos pueden tener alguna estructura,pero esta puede no ser tan rígida,regular o completa como la de las bases de datos tradicionales.Los usuarios no necesitan conocer la estructuracompleta cuando consultan los datos.LOREL es uno de los lenguajes que se han desarrollado para consultar datos semiestructurados.

LORELEl constructo fundamental en la formación de consultas es una expresión de ruta , una secuencia de etiquetas(separadas por un punto) que comienzan con un nombre de objeto o una variable que denota un objeto. Por ejemplo, bib.doc.title es una expresión de ruta.En Lorel, las expresiones de ruta pueden ser expresiones regulares más complejas, que se pueden construir usando comodines y operadores de expresiones regulares: "*" (0 o más ocurrencias), "|" (disyunción), "+" (una o más ocurrencias) y "?" (0 ó 1 ocurrencia) y comodines (#). Los filtros aparecen en la cláusula WHERE y admite los operadores booleanos not, and y or, así como los operadores relacionales "<", "<=", "=", "<>", ">=", ">".Ejemplo: SELECT Frodos.Group.Name FROM Frodos WHERE Frodos.Group.Category = "Opera" y la respuesta a la consulta: Answer Name "palo Alto Savoyards"El enfoque de datos semiestructurados para modelar y consultar datos web es simple y flexible.Proporciona una forma natural de lidiar con la estructura de contención de los objetos web. Sin embargo, también hay deficiencias en este enfoque.

Enfoques del lenguaje de consultas web

Abordan las características de los datos web, centrándose especialmente en el manejo adecuado de los enlaces. Proporcionan abstracciones adecuadas para capturar la estructura de contenido de los documentos (como en los enfoques de datos semi estructurados), así como los enlaces externos. Combinan consultas basadas en contenido (por ejemplo, expresiones de palabras clave) y consultas basadas en estructura (por ejemplo, expresiones de ruta).Ejemplos: WebSQL (1era.generación), WebOQL(2da.generación)

Procesamiento XML distribuido

Técnicas de procesamiento de consultas XMLFragmentación de datos XMLOptimización del procesamiento de XML distribuido

sOLUCIONES DISTRIBUIDAS

+ info

FRAGMENTACIÓN DE DATOSComo en los sistemas relacionales, podemos distinguir entre la fragmentación horizontal donde se seleccionan los subconjuntos de los datos, y la fragmentación vertical donde los fragmentos se identifican en función de "proyecciones" sobre el esquema.Una fragmentación horizontal se puede definir mediante un conjunto de predicados de fragmentación, de modo que cada fragmento consta de árboles de documentos que coinciden con el correspondiente predicado.Una fragmentación vertical se define fragmentando el grafo de la colección en subgrafos separados.

procesamiento xml DISTRIBUIDO

Además de ser un lenguaje de representación de datos, XML se utiliza con frecuencia para intercambiar datos entre una amplia variedad de sistemas. Por lo tanto, las aplicaciones a menudo acceden a datos de múltiples colecciones de datos XML administradas de forma independiente.

dificultades

A medida que aumenta el volumen de datos XML junto con las cargas de trabajo que operan con estos datos, la gestión eficiente de estas colecciones se convierte en una preocupación seria. De manera similar a los sistemas relacionales, las soluciones centralizadas generalmente no son factibles y se requieren soluciones distribuidas.

Lorem salutandi eu mea, eam in soleat iriure assentior. Tamquam lobortis id qui. Ea sanctus democritum mei, per eu alterum electram adversarium. Ea vix probo dicta iuvaret, posse epicurei suavitate eam an, nam et vidit menandri. Ut his accusata petentium.In mel saperet expetendis. Vitae urbanitas sadipscing nec ut, at vim quis lorem labitur. Exerci electram has et, vidit solet tincidunt quo ad, moderatius contentiones nec no. Nam et puto abhorreant scripserit, et cum inimicus accusamus.Mei eu mollis albucius, ex nisl contentiones vix. Duo persius volutpat at, cu iuvaret epicuri mei. Duo posse pertinacia no, ex dolor contentiones mea. Nec omnium utamur dignissim ne. Mundi lucilius salutandi an sea, ne sea aeque iudico comprehensam. Populo delicatissimi ad pri. Ex vitae accusam vivendum pro.

optimización del procesamiento de xml DISTRIBUIDO

La investigación de estrategias de procesamiento y optimización para la ejecución distribuida de las consultas XML están en su infancia. Aunque existe una investigación activa sobre varios frentes , algunos métodos y principios generales están surgiendo, estamos lejos de una comprensión completa de los problemas.Existen dos áreas de investigación: diferentes modelos de ejecución distribuida que se centran en:envío de datos VERSUS envío de consultaslocalización y poda en el caso de sistemas de envío de consultas

ENVÍO DE DATOS:1- Se analiza cada consulta para determinar los datos que necesita, 2-envían esos datos desde sus fuentes a donde se emite la consulta (o en un sitio en particular),3- ejecuta la consulta en ese sitio.Es simple de implementar y puede ser útil en ciertas situaciones.Se basa en la expectativa de que haya suficiente espacio de almacenamiento en cada sitio de consulta para almacenar los datos que se reciben. Puede generar una sobrecarga grave de datos.

ENVÍO DE CONSULTASe ejecuta la consulta donde residen los datos.Se descompone la consulta XML en un conjunto de subconsultas y se ejecuta cada una de estas subconsultas en los sitios donde residen los datos.Este enfoque proporciona paralelismo intraconsulta.No es fácil en el contexto de los sistemas XML. Requiere el envío tanto de la función y sus parámetros a un sitio remoto ( requiriendo el "empaquetado" de estos parámetros valores).Además es posible tener un modelo de ejecución híbrido.XML empaqueta cada función con los datos sobre los que opera y cuando la función se encuentra en un documento XML activo, se ejecuta de forma remota donde residen los datos. Sin embargo, el resultado de la ejecución de la función es devuelto al sitio XML activo original (es decir, envío de datos) para su posterior procesamiento.

LOCALIZACIÓN Y PODAOBJETIVO: eliminar el trabajo innecesario asegurándose de que las consultas descompuestas se ejecuten sólo sobre los fragmentos que tienen datos para contribuir al resultado.La localización se realiza reemplazando cada referencia a una relación global con un programa de localización que muestra cómo se puede reconstruir la relación global a partir de sus fragmentos. Esto produce un plan de consulta inicial al que se aplican reglas de equivalencia algebraica para reorganizarlo.El programa de localización es diferente, para diferentes tipos de fragmentación.

Lorem salutandi eu mea, eam in soleat iriure assentior. Tamquam lobortis id qui. Ea sanctus democritum mei, per eu alterum electram adversarium. Ea vix probo dicta iuvaret, posse epicurei suavitate eam an, nam et vidit menandri. Ut his accusata petentium.In mel saperet expetendis. Vitae urbanitas sadipscing nec ut, at vim quis lorem labitur. Exerci electram has et, vidit solet tincidunt quo ad, moderatius contentiones nec no. Nam et puto abhorreant scripserit, et cum inimicus accusamus.Mei eu mollis albucius, ex nisl contentiones vix. Duo persius volutpat at, cu iuvaret epicuri mei. Duo posse pertinacia no, ex dolor contentiones mea. Nec omnium utamur dignissim ne. Mundi lucilius salutandi an sea, ne sea aeque iudico comprehensam. Populo delicatissimi ad pri. Ex vitae accusam vivendum pro.

Técnicas de procesamiento de consultas XML

Hay tres enfoques básicos para almacenar documentos XML en un DBMS: El enfoque de objeto grande (LOB) que almacena los documentos XML originales tal cual en una columna LOB.El enfoque relacional extendido que tritura documentos XML en tablas y columnas relacionales de objetos (OR). El enfoque nativo que utiliza un modelo de datos estructurado en árbol e introduce operadores optimizados para la navegación, inserción, eliminación y actualización de árboles.

Enfoque LOBEs muy similar al almacenamiento de documentos XML en un sistema de archivos, ya que existe una transformación mínima del formato original al formato de almacenamiento.Es el más simple de implementar y apoyar.Proporciona fidelidad a nivel de bytes que podrían ser necesarios para algunos esquemas de firma digital.Es eficaz para insertar (extraer) todos los documentos en (desde) la base de datos. DESVENTAJA: el procesamiento de consultas es lento debido al inevitable análisis de XML en el momento de la ejecución de la consulta.

Enfoque relacional extendido ( OR)Los documentos XML se convierten en tablas relacionales de objetos, que se almacenan en bases de datos relacionales o en repositorios de objetos.Este enfoque se puede dividir en dos categorías en función de si el mapeo de XML relacional se basa o no en el esquema XML

Enfoque de almacenamiento XML NativoAlmacena documentos XML utilizando estructuras y formatos de datos especiales que están diseñados para datos XML.Las técnicas de almacenamiento XML nativo tratan a los árboles de documentos XML como ciudadanos de primera clase y desarrollan esquemas de almacenamiento de propósito especial sin depender de la existencia de un sistema de base de datos subyacente.Diseñado para el modelo de datos XML, proporciona compensaciones equilibradas entre muchos criterios.

Lorem salutandi eu mea, eam in soleat iriure assentior. Tamquam lobortis id qui. Ea sanctus democritum mei, per eu alterum electram adversarium. Ea vix probo dicta iuvaret, posse epicurei suavitate eam an, nam et vidit menandri. Ut his accusata petentium.In mel saperet expetendis. Vitae urbanitas sadipscing nec ut, at vim quis lorem labitur. Exerci electram has et, vidit solet tincidunt quo ad, moderatius contentiones nec no. Nam et puto abhorreant scripserit, et cum inimicus accusamus.Mei eu mollis albucius, ex nisl contentiones vix. Duo persius volutpat at, cu iuvaret epicuri mei. Duo posse pertinacia no, ex dolor contentiones mea. Nec omnium utamur dignissim ne. Mundi lucilius salutandi an sea, ne sea aeque iudico comprehensam. Populo delicatissimi ad pri. Ex vitae accusam vivendum pro.

conclusión

La web se ha convertido en un importante depósito de datos y documentos, por lo que es un tema importante de estudio. Pero no existe un marco unificador para muchos de los temas que se incluyen en la gestión de datos web.En esta monografía, nos enfocamos en tres temas principales, a saber, búsqueda web, consultas web y administración de datos XML distribuidos. Incluso en estas áreas, quedan muchos problemas abiertos.

bibliografía

Principles of Distributed Database Systems. Third Edition. M. Tamer Özsu * Patrick Valduriezhttps://www.cloudflare.com/es-es/learning/bots/what-is-a-web-crawler/ http://gestion.dc.uba.ar/media/academic/gr⦁ ade/thesis/ilyef.pdfhttps://www.google.com/intl/es_es/search/howsearchworks/crawling-indexing/https://www.nature.com/articles/35012155ttps://programmerclick.com/article/42171178595/

# data[].attributes.attachment_link.title
Presentación Gestión de Datos Web by Viviana Lis on Genially

# data[].attributes.attachment_link.description
Gestión de datos web (Web Data Management) EMPEZAR Alina SchablViviana Echeverría se centró en la busqueda de palabras claves y motores de busquedaluego se centró en la consulta declarativa de datos webla gestión de datos XML y datos xml distribuidos Investigación sobre la Gestión de Datos Web: introducción procesamiento XML

# data[].attributes.body
Presentación Grupo 5

# data[].attributes.attachment_link.readable_text
Trabajo de Investigación

MINERÍA DE DATOS

Equipo Docente : Hugo A. Alfonso Natalia Fernandez

GRUPO 5:Paulina GarcÍaEzequiel LedesmaGerardo Lovera

ÍNDICE

Introducción

¿Que es Minería de Datos?

Evolución Histórica

Tareas

Procesos

Ventajas y Desventajas

Técnicas

Aplicaciones

Herramientas

Ejemplo Práctico

INTRODUCCIÓN

Hace tan solo unos años atras, los datos en las empresas estaban orientados a alimentar sus sistemas contables y financieros. A medida que los negocios mundiales se vuelven más competitivos, los datos cada vez cobran mas vida y se convierten en información vital y estrategica para la toma de desiciones.

Agregar valor a la gran cantidad de información que tienen almacenada

Automatizar procesos y asi descubrir información valiosa.

Herramientas Software y Hardware

Posibilitan almacenar grandes cantidades de información y realizar un analisis de la misma.

¿Qué es minería de datos?

Inteligencia ArtificialAnalisis estadísticoBases de datosy visualización gráfica

Forma de explotación

RelacionesTendenciasPatronesTrayectorias ocultas

Descubre

soporte a los procesos de toma de decisiones

Años 50

RAÍCES DE LA MINERÍA DE DATOS

Años 60

RECOLECCIÓN DE DATOS

Nacimiento de los sistemas de información para la dirección. Voluminosos, poco flexibles, de difícil lectura para los no informáticos.

Ordenadores, cintas, discos, DBMS. Retrospectivo, datos estáticos. "Dime mis beneficios totales en los últimos 4 años".

ACCESO A LOS DATOS

Años 80

Bases de datos relacionales (SQL) ODBC. Retrospectivo, datos dinámicos a nivel de registro."Ventas en Santa Rosa durante las últimas Navidades".

DATA WAREHOUSE Y SOPORTE A LA TOMA DE DECISIONES

Años 90

{OLAP}, bases de datos multi-dimensionales, data warehouse.Retrospectivo, obtención dinámica de datos a múltiples niveles."Ventas en General Pico detalle por delegación y descender a nivel de tienda".

EVOLUCIÓN HISTÓRICA

DATA MINING

fines delos '90

Algoritmos avanzados, ordenadores, multiprocesadores, bases de datos masivas. Prospectivo, obtención proactiva de información.Justifica la tendencia de venta en Santa Rosa para el próximo año.

TAREAS

Agrupamiento o Identificación de Clases

Busca identificar un conjunto de categorías para describir los datos. Pueden tener representación jerarquica o permitir solapamiento. Utiliza algoritmos de clustering.

Condensación o descripción de conceptos

Consiste en encontrar un método que permita encontrar una descripción compacta de un subconjunto de datos. Se utiliza en el análisis de datos de forma interactiva y generación de reportes automáticos.

Clasificación

Habilidad para adquirir una función que mapee un elemento de datos, a una de varias clases predefinidas

Detección de desviaciones o anomalías

Detectan los cambios más significativos en los datos con respecto a valores pasados o normales. Filtra grandes volúmenes de datos. El problema está en determinar cuando una desviación es significativa para ser de interés.

Modelado de dependencias

Encontrar un modelo que describa las dependencias más significativas. 2 niveles, a nivel estructural (del modelo específico, a menudo en forma gráfica), y el otro a nivel cuantitativo (especifica la robustez usando escala numérica).

Regresión

Adquirir una función que clasifique un elemento de dato, a una variable de predicción de valor real. Por ejemplo, predecir la cantidad de biomasa de un bosque sensado remotamente vía microondas.

DE MINERÍA DE DATOS

PROCESOS

DE MINERÍA DE DATOS

PROCESADO DE DATOS

La estadística es una técnica efectiva que sirve para tratar grandes volúmenes de datos numéricos, y posee un amplio conjunto de modelos de análisis para cubrir el tratamiento de todo tipo de poblaciones y series de datos

SELECCIÓN DE CARACTÉSTICAS

Herramientas analíticas empleadas para el descubrimiento de reglas y relaciones mediante la ruptura y subdivisión sistemática de la información contenida en el conjunto de datos. Se aplica un algoritmo de clasificación que parte de un nodo, desarrollando ramas y determinando el potencial resultado de cada una de ellas

INTERPRETACIÓN Y EVALUACION

Son una nueva forma de analizar la información, capaces de detectar y aprender patrones y características dentro de los datos. Se comportan de forma parecida a nuestro cerebro aprendiendo de la experiencia y el pasado y aplicando tal conocimiento a la resolución de problemas nuevos.

USO DE ALGORITMO DE EXTRACCION DE CONOCIMIENTO.

Derivan de un tipo de análisis que extrae información por coincidencias.Permite descubrir correlaciones o co-ocurrencias en los sucesos de la base de datos a analizar y se formaliza en la obtención de reglas de tipo "si .../entonces...".

TÉCNICAS

MÁS COMUNES DE MINERÍA DE DATOS

MÉTODOS ESTADÍSTICOS

Pretende dibujar el mapa de relaciones entre variables explicativas y dependientes, y mostrar cómo cambia a medida que lo hacen los parámetros considerados en su planteamiento. Lo hace estableciendo una ecuación matemática que intenta reproducir la realidad de la manera más fiel posible, incorporando, incluso, la influencia del azar y el posible margen de error en el cálculo.

MÉTODOS BASADOS EN ÁRBOLES DE DECISIÓN

Herramientas analíticas empleadas para el descubrimiento de reglas y relaciones mediante la ruptura y subdivisión sistemática de la información contenida en el conjunto de datos. Se aplica un algoritmo de clasificación que parte de un nodo, desarrollando ramas y determinando el potencial resultado de cada una de ellas

INDUCCIÓN DE REGLAS

Permiten la generación y contraste de árboles de decisión o conjunto de reglas y patrones a partir de los datos de entrada. En los casos en que la información de entrada posee algún tipo de "ruido" o defecto estas técnicas pueden habilitar métodos estadísticos de tipo probabilístico para generar árboles de decisión podados o recortados.

SISTEMAS BASADOS EN EL CONOCIMIENTO Y SISTEMAS EXPERTOS

Permiten la formalización de árboles y reglas de decisión extraídas de la formalización del conocimiento de los expertos. Poseen motores llamados "Motores de Inferencia" que se encargan de gestionar las distintas preguntas al ser realizadas de forma que el proceso de decisión sea lo más eficiente y rápido posible.

REDES NEURONALES

Son una nueva forma de analizar la información, capaces de detectar y aprender patrones y características dentro de los datos. Se comportan de forma parecida a nuestro cerebro aprendiendo de la experiencia y el pasado y aplicando tal conocimiento a la resolución de problemas nuevos.

REGLAS DE ASOCIACIÓN

Derivan de un tipo de análisis que extrae información por coincidencias. Permite descubrir correlaciones o co-ocurrencias en los sucesos de la base de datos a analizar y se formaliza en la obtención de reglas de tipo "si .../entonces...".

SEGÚN SU CLASIFICACIÓN

Supervisados o predictivos(responden preguntas sobre datos futuros)Árboles de decisiónInducción neuronalRegresiónSeries temporalesNo supervisados o de descubrimiento del conocimiento(descubren patrones y tendencias en los datos actuales)Detección de DesviacionesSegmentaciónAgrupamiento (Clustering)Reglas de AsociaciónPatrones Secuenciales

AstronomíaClimaMedicinaIndustria y ManufacturaMercadotecniaInversión en casas de bolsa y bancaDetección de fraudes y comportamientos inusualesAnálisis de casas de mercadoRecursos humanosComportamiento de Internet

APLICACIONES

DE MINERÍA DE DATOS

Ventajas y desventajas

Descubre información que no se esperaba tener.

Desventajas

Ventajas

Muchos modelos validados (aparecen resultados inesperados)

Los modelos son confiables

Se construyen de manera rápida

Dificultad de recopilación de datos

El procesamiento puede llevar mucho tiempo

No está asegurada la obtención de un modelo valido.

HERRAMIENTAS

IBM - SPSS Modeler

Desarrollo de modelos predictivos mediante técnicas empresariales, mejora la toma de decisiones. Su diseño sigue el modelo CRISP-DM y admite el proceso completo de minería de datos, sin necesidad de programación.Ofrece una variedad de métodos de modelado procedentes del aprendizaje automático, la inteligencia artificial y el estadístico.Fácil visualización del proceso de minería de datos. Análisis avanzado incrustado que permite detectar patrones y tendencias en los datos. Modelado de resultados y comprensión de los factores que influyen en ellos.

ANÁLISISDE LA CESTA DE COMPRA

HERRAMIENTA SPSS MODELER

Datos que describen el contenido de cestas de supermercado (una colección de artículos comprados a la vez) junto con los datos personales del comprador, que pueden obtenerse a través de las tarjetas de fidelidad.

OBJETIVO: descubrir grupos de clientes que compren productos parecidos calificables desde el punto de vista demográfico, como por edad, ingresos, etc.

FASES DE MINERÍA DE DATOS: - Modelado de reglas de asociación y una visualización de malla que muestra enlaces entre los artículos comprados- Perfilado de reglas de inducción C5.0 de los compradores de grupos identificados de productos

ACCESO A LOS DATOS

PERFILADO DE GRUPOS DE CLIENTES

DESCUBRIMIENTO DE AFINIDADES

RESUMEN

Acceso a los datosUtilizando un nodo Archivo variable, conéctese al conjunto de datos BASKETS1n para leer los nombres de campos del archivo. Conecte un nodo Tipo al origen de datos y, a continuación, conecte el nodo a un nodo Tabla. Defina el nivel de medición de campo id_tarjeta como Sin tipo (porque cada identificación de las tarjetas de fidelidad sólo aparece una vez en el conjunto de datos y, por lo tanto, puede no ser utilizada en el modelado). Seleccione Nominal como nivel de medición para el campo sexo (para asegurar que el algoritmo de modelado Apriori no trate sexo como una marca).Figura 1. ruta baskruleAhora, ejecute la ruta para instanciar el nodo Tipo y mostrar la tabla. El conjunto de datos contiene 18 campos y cada registro representa una cesta.Los 18 campos están representados en las siguientes cabeceras.Resumen de los campos de cesta:id_tarjeta. Identificación de tarjetas de fidelidad para el cliente que compre esta cesta.valor. Precio de compra total de la cesta.forma_pago. Forma de pago de la cesta.Datos personales del titular de la tarjeta:sexocasa_propia. Si el titular posee o no una casa propia.ingresosedadContenido de la cesta (marcas para la presencia de categorías de productos):fruteríacarnelácteoslata_vegembutidoscongeladoscervezavinorefrescospescadopastelería

Descubrimiento de afinidades en el contenido de las cestasPrimero, debe obtener una visión general de las afinidades (asociaciones) del contenido de las cestas utilizando Apriori para crear reglas de asociación. Seleccione los campos que va a utilizar en este proceso de modelado editando el nodo Tipo y definiendo el rol de todas las categorías de productos como Ambas y el resto de roles como Ninguno. Ambas significa que el campo puede ser de entrada o de salida en el modelo resultante. Figura 1. Selección de campos para el modeladoUna vez que haya especificado los campos para el modelado, conecte un nodo Apriori al nodo Tipo, edítelo, seleccione la opción Sólo valores verdaderos para las marcas y pulse en ejecutar el nodo Apriori. El resultado, un modelo de la pestaña Modelos en la parte superior derecha de la ventana Gestores, contiene reglas de asociación que puede ver utilizando el menú contextual y seleccionando Examinar. Figura 2. Reglas de asociaciónEstas reglas muestran una variedad de asociaciones entre congelados, latas de verduras y cerveza. La presencia de reglas de asociación de dos factores como:congelados -> cervezacerveza -> congeladossugiere que una visualización de malla (que muestre sólo asociaciones de dos factores) puede resaltar algunos de los patrones de estos datos.Conecte un nodo Malla al nodo Tipo, edite el nodo Malla, seleccione todo el contenido de la cesta, seleccione Mostrar sólo marcas verdaderas y pulse en ejecutar el nodo Malla.Figura 3. Visualización de malla de asociaciones de productosPuesto que la mayoría de las combinaciones de categorías de productos se producen en varias cestas, los enlaces fuertes de esta malla son demasiado numerosos para mostrar los grupos de clientes sugeridos por el modelo.Figura 4. Visualización de malla restringidaPara especificar conexiones débiles y fuertes, pulse en el botón de flecha doble amarilla de la barra de herramientas. Esto expande el cuadro de diálogo que muestra los controles y el resumen del resultado de la malla.Seleccione El tamaño se muestra fuerte/normal/débil.Establezca enlaces débiles por debajo de 90.Establezca enlaces fuertes por encima de 100.En la visualización, sobresalen tres grupos de clientes:Aquellos que compran pescado, fruta y verdura, a los que se podría denominar "consumidores sanos".Aquellos que compran vino y productos de pastelería.Aquellos que compran cerveza, congelados y latas de verdura ("cerveza, judías y pizza")

Perfilado de los grupos de clientesSe identifican tres grupos de clientes según los tipos de productos que compran, pero también se quiere saber quiénes son estos clientes, es decir, su perfil demográfico. Puede lograrlo etiquetando a cada cliente con una marca de cada uno de estos grupos y utilizando una regla de inducción (C5.0) para generar reglas basadas en los perfiles de dichas marcas.Primero se debe derivar una marca para cada grupo. Esto se puede hacer de forma automática utilizando la visualización de malla que acaba de crear. Con el botón derecho del ratón, pulse en el enlace entre frutería y pescado para resaltarlo y pulse con el botón derecho y seleccione Generar nodo Derivar para el enlace. Figura 1. Derivar una marca para cada grupo de clientes Edite el nodo Derivar resultante para cambiar el nombre del campo Derivar a sano. Repita el ejercicio con el enlace de vino a pastelería y llame al campo Derivar resultante vino_choco.Para el tercer grupo (que implica tres enlaces), asegúrese primero de que ningún enlace está seleccionado. A continuación, seleccione los tres enlaces en el triángulo lata_veg, cerveza y congelados. Para ello, mantenga pulsada la tecla Mayús mientras pulsa el botón izquierdo del ratón. (Asegúrese de estar en modo interactivo, y no en modo de edición). A continuación, en el menú de la visualización de malla elija:Generar > Derivar nodo("Y")Cambie el nombre del campo Derivar resultante a cerveza_judías_pizza.Para perfilar estos grupos de clientes, conecte el nodo Tipo existente a esos tres nodos Derivar en serie y, a continuación, conecte otro nodo Tipo. En el nuevo nodo Tipo, defina el rol de todos los campos como Ninguno, excepto para valor, forma_pago, sexo, casa_propia, ingresos y edad, que deberían establecerse como Entrada y el grupo de clientes relevante (por ejemplo, cerveza_judías_pizza), que debería establecerse como Objetivo. Adjunte un nodo C5.0, establezca el tipo de resultado en Conjunto de reglas y pulse en ejecutar el nodo. El modelo resultante (para cerveza_judías_pizza) contiene un perfil demográfico claro para este grupo de clientes:then TRule 1 for T:if sex = Mand income <= 16,900then TEl mismo método puede aplicarse a las marcas de los grupos de clientes seleccionándolos como salida en el segundo nodo Tipo. En este contexto, se puede generar un rango más amplio de perfiles alternativos utilizando Apriori en lugar de C5.0. Apriori también puede utilizarse para perfilar las marcas de grupos de clientes de forma simultánea porque no se restringen a un único campo de salida.

Este ejemplo muestra cómo puede utilizarse IBM® SPSS Modeler para descubrir afinidades, o enlaces, en una base de datos tanto por modelado (utilizando Apriori) como por visualización (utilizando una visualización de malla). Estos enlaces se corresponden con agrupaciones de casos de los datos. Dichas agrupaciones pueden investigarse detalladamente y perfilarse mediante modelado (utilizando conjuntos de reglas C5.0).En el dominio de ventas, tales agrupaciones de clientes pueden utilizarse, por ejemplo, para identificar las ofertas especiales que mejoren el índice de respuesta a campañas de correo directas o para personalizar la gama de existencias almacenadas en un establecimiento para ajustarla a las necesidades de su base demográfica.

Fin

En conclusión, con el incremento exponencial de la capacidad de almacenar datos, la minería de datos nos permite encontrar los patrones que de otra manera no serían evidentes ante nuestra capacidad de análisis tradicional. Esta tecnología apoya la explotación, el análisis, la comprensión y aplicación del conocimiento que se obtiene de estos grandes volúmenes de datos.Si bien sólo se obtienen patrones su gran valor se encuentra en la información que es posible extraer de ellos. Sin duda es de gran ayuda en los procesos de toma de desiciones, ya sea en el mundo empresarial o de las organizaciones.

# data[].attributes.attachment_link.title
MINERÍA DE DATOS - GRUPO 5 by ezzeledesma on Genially

# data[].attributes.attachment_link.description
Trabajo de Investigación MINERÍA DE DATOS Equipo Docente : Hugo A. Alfonso Natalia Fernandez GRUPO 5:Paulina GarcÍaEzequiel LedesmaGerardo Lovera ÍNDICE Introducción ¿Que es Minería de Datos? Evolución Histórica Tareas Procesos Ventajas y Desventajas Técnicas Aplicaciones Herramientas Ejemplo Práctico INTRODUCCIÓN Hace tan solo unos años atras, los datos en las empresas estaban orientados a alimentar sus sistemas contables y financieros.

# data[].attributes.body
Monografía Grupo 5

# data[].attributes.attachment_link.title
Nuevas tendencias_ Minería de Datos (Trabajo Práctico Especial)