# data[].attributes.body
Extracción de una muestra representativa. Se realiza la extracción de un conjunto de datos (población muestral) sobre la que se va a llevar a cabo el análisis. La muestra debe ser representativa de la población, caso contrario los resultados obtenidos no son válidos para el proceso en cuestión. El método de muestreo más común se denomina " muestreo aleatorio simple " , en el que cada elemento en la población tiene la misma probabilidad de ser seleccionado.

# data[].attributes.body
Evaluación
*Determinar si los resultados coinciden con los objetivos del negocio
*Identificar las temas de negocio que deberían haberse abordado

• Evaluar Resultados

Hipótesis de Minería   de Datos

Resultados

Criterio de éxito del negocio

Modelos aprobados

Revisar el Proceso

Juan Marcos García Toledo

# data[].attributes.body
Primera fase, se centra en el análisis de los objetivos y requisitos desde una perspectiva comercial, posiblemente también académica, seguido este análisis se transcribe como un problema de Minería de Datos y se diseña un plan preliminar para el logro de los objetivos.
-----PONCIANO DE JESUS MARTINEZ SANCHEZ ---

# data[].attributes.attachment_link.provider_name
Posicionamiento Web, más tráfico, más clientes

# data[].attributes.attachment_link.readable_text
La necesidad de estructurar, racionalizar y enriquecer el estudio de Data Mining, llevó a la comunidad de los años 90's a desarrollar una metodologías de Minería de Datos. Como resultado de esta tarea se creó CRISP-DM 1.0 en 1996 bajo la GNU GPL.

¿Qué es CRISP DM?

CRISP-DM (CRoss-Industry Standard Process for Data Mining) es una metodología de Minería de datos para desarrollo de proyectos analíticos. CRISP-DM se explica como un proceso jerárquico, que tiene cuatro niveles de abstracción: Fase, tareas generales, tareas específicas e instancias de proceso.

En el primer nivel cada fase consiste en tareas generales lo más posible completas y estables. Por tareas completas se entiende a aquellas que cumplen completamente con el análisis y por sus posibles aplicaciones, por otro lado, por estables a aquellas que cubran incluso desarrollos no conocidos.

Diagrama Metodologías de Minería Datos by Kenneth Jensen Fuente

El tercer nivel las tareas especializadas describen las acciones de las tareas generales. Por ejemplo, en el segundo nivel (tareas generales) puede existir una tarea general llamada "limpieza de datos". El tercer nivel describe cómo difiere esta acción de unas situaciones a otras, por ejemplo, la limpieza de datos numéricos y la de datos categóricos.

En la práctica muchas tareas pueden realizarse en orden diferente, con frecuencia será necesario regresar a tareas previas y repetir otras. El cuarto nivel, instancias de proceso, es un conjunto de acciones, decisiones y resultados sobre el proceso de Minería de Dato s en curso.

Metodología CRISP-DM

La metodología de referencia CRISP-DM contiene las fases de un proyecto, sus respectivas tareas y sus relaciones entre ellas. El ciclo de vida de un proyecto de Minería de Datos consiste esencialmente en seis fases. La secuencia de las fases no es rígida, se puede regresar o adelantar a alguna de ellas siempre que se necesario. Todo depende de los resultados de cada fase.

Análisis del problema

Primera fase, se centra en el análisis de los objetivos y requisitos desde una perspectiva comercial, posiblemente también académica, seguido este análisis se transcribe como un problema de Minería de Datos y se diseña un plan preliminar para el logro de los objetivos.

Análisis de los datos

Esta fase comienza con la obtención de los datos para familiarizarse con ellos, identificar problemas de la calidad de estos, para descubrir relaciones entre ellos. O detectar subconjuntos interesantes de datos para formular hipótesis de información posiblemente desconocida.

Preparación de los datos

Esta fase cubre todas las actividades para construir el conjunto de datos final en el cual se aplicarán los modelos. Entre las tareas se incluye la selección de cuadros de datos, registros y atributo, así como su transformación, en caso sea necesario, para aplicar los modelos.

En esta fase varias técnicas de modelado son seleccionadas y aplicadas y sus parámetros son calibrados en valores óptimos. Generalmente existen diversas técnicas aplicables al mismo tipo de problema. Algunas técnicas necesitan que los datos estén preparados de cierta forma para poderse aplicar. Si los datos no están en condiciones es necesario regresar a la fase preparación de los datos

Evaluación

Una vez creado un buen modelo se debe evaluar el rendimiento de este y la integridad de todos los pasos, es importante verificar que se han incluido todos los objetivos del negocio o investigación.

Desarrollo

Frecuentemente los proyectos de Minería de Datos no terminan con la implementación del modelo sino en la obtención de conocimiento a partir de los datos. Para ello es importante documentar y presentar los resultados de manera comprensible. Se debe confirmar el mantenimiento de la aplicación y la difusión de los resultados, en caso de ser posible.

Metodología SEMMA

Por otra parte, la metodología llamada SEMMA, desarrollada por el instituto SAS que es el acrónimo de SAMPLE, EXPLORE, MODIFY, MODEL, ASSESS, que podemos interpretar como muestrea, explora, modifica, modela y evalúa, que se refiere al proceso básico para realizar Minería de Datos.

Esto es a partir de una muestra representativa de los datos, se aplican técnicas estadísticas de exploración y visualización, se seleccionan y transforman variables, se modela con las variables para predecir los y se evalúa la exactitud del modelo.

Metodologías de minería de datos diagrama SEMMA por jorgeromero.net basdo en SAS Doc

Un malentendido común es referirse a SEMMA como una metodología para hacer Minería de Datos. En la página SAS confirma que SEMMA es una organización lógica de la función de las herramientas de SAS ENTREPISE MINER en relación a las tareas básicas de la Minería de Datos.

Muestreo de los datos

Mediante la extracción de un subconjunto significativo desde un punto de vista estadístico de datos que contiene la información relevante que a la vez es rápido de manipular.

Por razones de costos y rendimiento SAS aboga por una estrategia de muestreo fiable, estadísticamente representativa de la fuente los datos origen. Las tareas de minería de una muestra significativa reducen el tiempo de procesamiento. Si existen patrones generales en la base de datos, Éstos serán detectados en la muestra representativa. También se pueden realizar particiones de los datos de la siguiente forma:

Entrenamiento, se utiliza para ajustar el modelo

Validación, se emplea para evaluar y para evitar el sobre y sub-ajuste

Prueba, se aprovecha para obtener una evaluación honesta del modelo en general

Exploración de datos

Mediante la búsqueda de tendencias, valores atípicos etc., con el fin de obtener una idea. Ayuda a refinar el proceso de descubrimiento. Se utilizan técnicas visuales, estadísticas incluyendo análisis factorial, análisis de correspondencias y la segmentación.

Modificación de datos

A través de la creación, selección y transformación de las variables para dirigir el proceso de modelado. Se utiliza para encontrar valores atípicos, reducir el número de variables y seleccionar las más significativas.

Modelado de datos

Los algoritmos programados buscan automáticamente un subconjunto de datos que predice con cierta confianza los resultados esperados. Entre técnicas de Minería de Datos están las redes neuronales, árboles de decisiones, regresión logística, series temporales, y análisis en componentes principales.

Evaluación de datos

Se observa la fiabilidad y se calcula la eficiencia de los modelos. Para esta tarea se reserva con frecuencia una partición de los datos la cual es considerada hasta estos momentos. Si el modelo es estable debe tener un nivel de predicción aceptable para estos datos, de esta forma se evalúa.

Modelos de minería de datos

Referencias

# data[].attributes.attachment_link.title
Metodologías de Minería de Datos más usadas en la actualidad

# data[].attributes.attachment_link.description
La necesidad de estructurar, racionalizar y enriquecer el estudio de Data Mining, llevó a la comunidad de los años 90's a desarrollar una metodologías de Minería de Datos. Como resultado de esta tarea se creó CRISP-DM 1.0 en 1996 bajo la GNU GPL.

# data[].attributes.headline
Fase 2. Data Understanding. Estudio y comprensión de los datos.

# data[].attributes.subject
Fase 2. Data Understanding. Estudio y comprensión de los datos.

# data[].attributes.body
La fase de entendimiento de datos comienza con la colección de datos inicial y continúa con las actividades que permiten familiarizarse con los datos, identificar los problemas de calidad, descubrir conocimiento preliminar sobre los datos, y/o descubrir subconjuntos interesantes para formar hipótesis en cuanto a la información oculta.
Las principales tareas a desarrollar en esta fase del proceso son:

Recolección de datos iniciales.  Recolección de los datos iniciales y su adecuación para el futuro procesamiento.

Descripción de los datos.

Exploración de los datos.

Verificación de la calidad de los datos.

Graciela Marina Arguelles Francisco.

# data[].attributes.body
Mediante la búsqueda de tendencias, valores atípicos etc., con el fin de obtener una idea. Ayuda a refinar el proceso de descubrimiento. Se utilizan técnicas visuales, estadísticas incluyendo análisis factorial, análisis de correspondencias y la segmentación.

# data[].attributes.body
Los algoritmos programados buscan automáticamente un subconjunto de datos que predice con cierta confianza los resultados esperados. Entre técnicas de Minería de Datos están las redes neuronales, árboles de decisiones, regresión logística, series temporales, y análisis en componentes principales.

# data[].attributes.body
DIAGRAMA

# data[].attributes.body
En la etapa de selección, una vez identificado el conocimiento relevante y prioritario y definidas las metas del proceso kdd, desde el punto de vista del usuario final, se crea un conjunto de datos objetivo, seleccionando todo el conjunto de datos o una muestra representativa de este, sobre el cual se realiza el proceso de descubrimiento. La selección de los datos varía de acuerdo con los objetivos del negocio.

# data[].attributes.body
Se utilizan métodos de reducción de dimensiones o de transformación para disminuir el número efec�tivo de variables bajo consideración o para encontrar representaciones invariantes de los datos

# data[].attributes.body
DIAGRAMA

# data[].attributes.body
Se observa la fiabilidad y se calcula la eficiencia de los modelos. Para esta tarea se reserva con frecuencia una partición de los datos la cual es considerada hasta estos momentos. Si el modelo es estable debe tener un nivel de predicción aceptable para estos datos, de esta forma se evalúa.

# data[].attributes.body
Modificación
En esta fase se realiza una selección y transformación de los datos de acuerdo con las variables seleccionadas para el proceso de minado, la cual permitirá de acuerdo con éstas adoptar el enfoque de selección y diseño del modelado

# data[].attributes.body
En la etapa de preprocesamiento/limpieza (data cleaning) se analiza la calidad de los datos, se aplican operaciones básicas como la remoción de datos ruidosos, se seleccionan estrategias para el manejo de datos desconocidos (missing y empty), datos nulos, datos duplicados y técnicas estadísticas para su reemplazo. En esta etapa, es de suma importancia la interacción con el usuario o analista.

# data[].attributes.body
En esta fase y una vez efectuada la recolección inicial de datos, se procede a su preparación para adaptarlos a las técnicas de Data Mining que se utilicen posteriormente, tales como técnicas de visualización de datos, de búsqueda de relaciones entre variables u otras medidas para exploración de los datos. La preparación de datos incluye las tareas generales de selección de datos a los que se va a aplicar una determinada técnica de modelado, limpieza de datos, generación de variables adicionales, integración de diferentes orígenes de datos y cambios de formato. Esta fase se encuentra relacionada con la fase de modelado, puesto que en función de la técnica de modelado elegida, los datos requieren ser procesados de diferentes formas. Es así que las fases de preparación y modelado interactúan de forma permanente. Una descripción de las tareas involucradas en esta fase es la siguiente: Selección de datos. En esta etapa, se selecciona un subconjunto de los datos adquiridos en la fase anterior, apoyándose en criterios previamente establecidos en las fases anteriores: calidad de los datos en cuanto a completitud y corrección de los datos y limitaciones en el volumen o en los tipos de datos que están relacionadas con las técnicas de DM seleccionadas. Limpieza de los datos. E

# data[].attributes.body
En la etapa de transformación/reducción de datos, se buscan características útiles para representar los datos dependiendo de la meta del proceso. Se utilizan métodos de reducción de dimensiones o de transformación para disminuir el número efectivo de variables bajo consideración o para encontrar representaciones invariantes de los datos

# data[].attributes.body
El objetivo último de esta fase es realizar el despliegue de los resultados obtenidos de forma que sea propagado a los usuarios finales así como el mantenimiento del mismo una vez el despliegue haya finalizado.

En esta fase deberemos ser capaces de:

Diseñar un plan de despliegue de modelos y conocimiento sobre nuestra organización.

Realizar seguimiento y mantenimiento de la parte más operativa del despliegue.

Revisar el proyecto en su globalidad con el objetivo de identiﬁcar lecciones aprendidas.

# data[].attributes.attachment_link.readable_text
Me gustan las metodologías. Aunque no te aseguran el éxito, te guían por el camino que debes transitar para ejecutar un proyecto con mayor probabilidad de éxito.

En el ámbito de la minería de datos, la metodología CRISP-DM ( Cross Industry Standard Process for Data Mining) se ha convertido en un estándar de factor del mercado. Surgida en dos empresas que han sido pioneras en la aplicación de minería de datos a los procesos de negocio: DaimlerChrysler y SPSS.

La metodología CRISP-DM establece un proyecto de minería de datos como una secuencia de fases:

1. Comprensión del negocio.

2. Compresión de los datos.

3. Preparación de los datos.

4. Modelado.

5. Evaluación.

6. Despliegue.

En este post vamos a revisar las fases en la que se estructura un proyecto de minería de datos en salud tomando como referencia CRISP-DM.

Comprensión del negocio.

El objetivo de esta fase es alinear los objetivos del proyecto de data mining con los objetivos del negocio. Tratando así de evitar embarcarnos en un proyecto de minería de datos que no produzca ningún efecto real en la organización.

En esta fase deberemos ser capaces de:

Establecer los objetivos de negocio.

Evaluar la situación actual.

Fijar los objetivos a nivel de minería de datos.

Obtener un plan de proyecto.

Como ejemplo ilustrativo de la metodología vamos a considerar el caso de una organización hospitalaria especializada en oncología que pretende mejorar la precisión en el diagnóstico de células cancerígenas que lleva a cabo el laboratorio de anatomía patológica.

Para ello se procederá a realizar una captura digital de una imagen de un aspirado con aguja fina de una masa mamaria y se medirá de forma automatizada una serie de atributos sobre la imagen que nos permita clasificar el tejido analizado como maligno o benigno.

El objetivo final es establecer un sistema automatizado que permita clasificar automáticamente una citología del paciente y complemente la labor de diagnóstico del patólogo, mejorando la precisión diagnóstica.

Una vez establecidos y alineados los objetivos se creará un plan de proyecto que incluya las fases, tareas y actividades necesarias para conseguir los objetivos.

Comprensión de los datos.

Dos puntos clave en esta fase: conocer los datos, estructura y distribución, y la calidad de los mismos.

En esta fase deberemos ser capaces de:

Ejecutar procesos de captura de datos.

Proporcionar una descripción del juego de datos.

Realizar tareas de exploración de datos.

Gestionar la calidad de los datos, identiﬁcando problemas y proporcionando soluciones.

El proyecto se basará en el Breast Cancer Winscosin Data Set. Está formado por un conjunto de 569 observaciones con 30 variables de tipo real. El conjunto de datos no presenta valores nulos.

Las variables se calculan a partir de una imagen digitalizada de un aspirado con aguja fina (FNA) de una masa mamaria. Describen las características de los núcleos celulares presentes en la imagen.

Las variables son las siguientes:

El conjunto de datos está formado por la media, el error estándar y el peor de los valores de las variables para cada una de las imágenes.

El conjunto de datos está formado por 212 observaciones clasificadas como malignas y 357 observaciones clasificadas como benignas.

Se procede a realizar un análisis estadístico básico. A continuación se muestra el cálculo de la media, la desviación estándar y los cuartiles para las primeras nueve variables numéricas.

Análisis estadístico básico

Los datos no presentan problemas de calidad.

Preparación de los datos

El objetivo final de esta fase es obtener los datos finales sobre los que aplicarán los modelos.

En esta fase deberemos ser capaces de:

Establecer el universo de datos con los que trabajar.

Realizar tareas de limpieza de datos.

Construir un juego de datos apto para ser usado en modelos de minería de datos.

Integrar datos de fuentes heterogéneas si es necesario.

Como ejemplo de exploración visual de los datos dibujaremos un histograma para alguno de los atributos del dataset. La finalidad es observar cómo se distribuye cada uno de los atributos en función del valor de clase que toman, para poder identificar de forma visual y rápida si algunos atributos permiten diferenciar de forma clara los diferentes diagnósticos de los tumores.

Histograma variables

Los histogramas sugieren que el atributo mean radius permite diferenciar la presencia de células tumorales o no en la imagen.

Otro análisis relevante que nos permitiría descartar atributos redundantes para la construcción del modelo sería la matriz de correlación. Por ejemplo, el gráfico siguiente muestra la elevada y esperada correlación que existe entre el radio, el área y el perímetro.

Otra técnica también muy utilizada en esta fase es la de reducción de la dimensionalidad. Para ello podríamos usar análisis de componente principales (PCA). Se trata de una transformación de datos a un espacio de dimensión menor pero manteniendo la mayor parte de la información del dataset original. Si consideramos un espacio de dimensión 2 formado por las dos primeras componentes principales se obtiene la siguiente distribución para cada de las clases objetivo:

Análisis de componentes principales

La finalidad es observar cómo se distribuye cada uno de los atributos en función del valor de clase que toman, para poder identificar de forma visual y rápida si algunos atributos permiten diferenciar de forma clara los diferentes diagnósticos de los tumores.

Modelado

El objetivo último de esta fase es construir un modelo que nos permita alcanzar los objetivos del proyecto.

En esta fase deberemos ser capaces de:

Seleccionar las técnicas de modelado más adecuadas para nuestro juego de datos y nuestros objetivos.

Fijar una estrategia de veriﬁcación de la calidad del modelo.

Construir un modelo a partir de la aplicación de las técnicas seleccionadas sobre el juego de datos.

Ajustar el modelo evaluando su ﬁabilidad y su impacto en los objetivos anteriormente establecidos.

Nos encontramos ante un problema de clasificación. Aplicaremos un método de aprendizaje supervisado, concretamente el clasificador RandomForest, para predecir el diagnóstico de cáncer de mama (tumor benigno o maligno), usando el conjunto de datos original con todos los atributos.

Dividimos las observaciones en un conjunto de entrenamiento para construir el modelo y otro conjunto de test para evaluarlo. Para ello, a partir de dataset inicial tomaremos el 75% de las observaciones junto con su etiqueta de clase asociada para el conjunto de entrenamiento. El 25% restante se asignan al conjunto de test.

La implementación la realizaremos en Python, utilizando la librería sckit-learn.

Evaluación del modelo

En esta fase nos centrarnos en evaluar el grado de acercamiento del modelo a los objetivos de negocio.

En esta fase deberemos ser capaces de:

Evaluar el modelo o modelos generados hasta el momento.

Revisar todo el proceso de minería de datos que nos ha llevado hasta este punto.

Establecer los siguientes pasos a tomar, tanto si se trata de repetir fases anteriores como si se trata de abrir nuevas líneas de investigación.

Siguiendo nuestro ejemplo, para la evaluación del modelo calcularemos una serie de métricas sobre un conjunto de datos (conjunto de test) que el modelo no conoce. Métricas habituales son la precisión (accuracy), sensibilidad y F-score:

Evaluación del modelo

Observamos que la precisión de nuestro modelo sobre el conjunto de test es del 95%, lo que indica que es capaz de clasificar correctamente el 95% de las muestras nuevas analizadas.

Si la precisión alcanzada por nuestro modelo no fuese la adecuada para satisfacer los objetivos del proyecto entraríamos en un proceso iterativo con el objetivo de conseguir un modelo mejor. Esto podría implicar:

Tunning de los hiperparámetros del modelo.

Seleccionar otra técnica de construcción de modelos: SVM, redes neuronales, etc...

Despliegue

El objetivo último de esta fase es realizar el despliegue de los resultados obtenidos de forma que sea propagado a los usuarios finales así como el mantenimiento del mismo una vez el despliegue haya finalizado.

En esta fase deberemos ser capaces de:

Diseñar un plan de despliegue de modelos y conocimiento sobre nuestra organización.

Realizar seguimiento y mantenimiento de la parte más operativa del despliegue.

Revisar el proyecto en su globalidad con el objetivo de identiﬁcar lecciones aprendidas.

Siguiendo con nuestro ejemplo el despliegue de la solución implicaría tareas como:

Implantación de un sistema de captura digital de la imagen de anatomía patológica.

Implantación de software de clasificación automática de tejidos de cáncer de mama.

Integración con el software del laboratorio de anatomía patológica.

Implantación de nuevos procedimientos operativos del laboratorio de anatomía patológica.

Monitorización del funcionamiento del nuevo sistema y grado de adherencia de los usuarios al mismo.

Medición del grado de precisión diagnóstica y la eficiencia del laboratorio tras la puesta en marcha del sistema.

Espero que te haya resultado ilustrativo este post sobre metodologías de de análisis y minería de datos en salud. Esta metodología es la que usamos en nuestra solución Conectando Datos, por lo que si tienes algún tipo de necesidad en este sentido no dudes en contactar conmigo.

# data[].attributes.attachment_link.title
CRISP-DM: una metodología para minería de datos en salud - healthdataminer.com

# data[].attributes.attachment_link.description
Me gustan las metodologías. Aunque no te aseguran el éxito, te guían por el camino que debes transitar para ejecutar un proyecto con mayor probabilidad de éxito. En el ámbito de la minería de datos, la metodología CRISP-DM ( Cross Industry Standard Process for Data Mining) se ha convertido en un estándar de factor del mercado.

# data[].attributes.body
Etapa de interpretación/evaluación de datos En la etapa de interpretación/evaluación, se interpretan los patrones descubiertos y posiblemente se retorna a las anteriores etapas para posteriores iteraciones. Esta etapa puede incluir la visualización de los patrones extraídos, la remoción de los patrones redundantes o irrelevantes y la traducción de los patrones útiles en términos que sean entendibles para el usuario. Por otra parte, se consolida el conocimiento descubierto para incorporarlo en otro sistema para posteriores acciones o, simplemente, para documentarlo y reportarlo a las partes interesadas; también para verificar y resolver conflictos potenciales con el conocimiento previamente descubierto.

# data[].attributes.body
El objetivo último de esta fase es construir un modelo que nos permita alcanzar los objetivos del proyecto.

En esta fase deberemos ser capaces de:

Seleccionar las técnicas de modelado más adecuadas para nuestro juego de datos y nuestros objetivos.

Fijar una estrategia de veriﬁcación de la calidad del modelo.

Construir un modelo a partir de la aplicación de las técnicas seleccionadas sobre el juego de datos.

Ajustar el modelo evaluando su ﬁabilidad y su impacto en los objetivos anteriormente establecidos.

# data[].attributes.body
En esta etapa se hace una búsqueda y se hace descubrimientos de patrones insospechados y de interés, aplicando tareas de descubrimiento como clasificación.

# data[].attributes.headline
La Metodología CRISP-DM Desglose jerárquico

# data[].attributes.subject
La Metodología CRISP-DM Desglose jerárquico