# data[].attributes.body
https://livebook.manning.com/concept/r/davies-bouldin-index

# data[].attributes.attachment_link.description
appears as: Dunn index, The Dunn index, Dunn index

# data[].attributes.headline
El índice de Dunn es un método para evaluar la agrupación en clústeres. Un valor más alto es mejor. Se calcula como la distancia entre grupos más baja (es decir, la distancia más pequeña entre dos centroides de grupo) dividida por la distancia entre grupos más alta (es decir, la distancia más grande entre dos puntos en cualquier grupo).

# data[].attributes.subject
El índice de Dunn es un método para evaluar la agrupación en clústeres. Un valor más alto es mejor. Se calcula como la distancia entre grupos más baja (es decir, la distancia más pequeña entre dos centroides de grupo) dividida por la distancia entre grupos más alta (es decir, la distancia más grande entre dos puntos en cualquier grupo).

# data[].attributes.body
Técnicas e índices para la validación de un agrupamiento
Validación interna y externa: https://docplayer.es/71694389-Metricas-para-la-validacion-de-clustering.html

Aplicaciones de clustering en el mundo real: https://aprendeia.com/metodo-de-agrupamiento-o-clustering-aprendizaje-no-supervisado/

Validación de Clusters usando IEKA y SL-SOM: http://rics.ucsp.edu.pe/publicaciones/20100026.pdfhttp://rics.ucsp.edu.pe/publicaciones/20100026.pdf

# data[].attributes.attachment_link.readable_text
1 Métricas para la validación de Clustering MINERIA DE DATOS Elizabeth León Guzmán, Profesor Asociado Universidad Nacional de Colombia Ingeniería de Sistemas y Computación

2 Contenido Introducción Tipos de Validación Métricas de validación internas Cohesión y separación SSW SSB Sum of Squared base Indexes Davies Bouldin Coeficiente de Silhouette Métricas de validación externas Precisión Recall Medida F Entropía Pureza Mutual Information

3 Introducción El Clustering (Agrupamiento) es un proceso no supervisado en Minería de Datos y en el Reconocimiento de Patrones, ampliamente utilizado y que es especialmente sensible a los parámetros de la entrada. Es de importancia evaluar el resultado de los algoritmos de clustering, sin embargo, es difícil definir cuando el resultado de un agrupamiento es aceptable. Por esta razón existen técnicas e índices para la validación de un agrupamiento realizado.

5 Tipos de Validación La validación externa y la validación interna son las dos categorías más importantes para la validación de clustering. La principal diferencia es si se usa o no información externa para la validación, es decir, información que no es producto de la técnica de agrupación utilizada. A diferencia de técnicas de validación externas, las de validación interna miden el clustering únicamente basadas en información de los datos. Evalúan que tan buena es la estructura del clustering sin necesidad de información ajena al propio algoritmo y su resultado.

6 Como la validación externa mide la calidad del agrupamiento conociendo información externa de antemano, es principalmente usada para escoger un algoritmo de clustering óptimo sobre un data set específico. Las métricas de validación interna pueden usarse para escoger el mejor algoritmo de clustering,así como el número de clúster óptimo sin ningún tipo de información adicional. En la práctica, la información externa, como los labels de las clases, por lo general no se encuentra disponible en muchos escenarios de aplicación.

7 Métricas de Validación Interna Como el objetivo del clustering es agrupar objetos similares en el mismo clúster y objetos diferentes ubicarlos en diferentes clúster, las métricas de validación interna están basadas usualmente en los dos siguientes criterios: Cohesión Separación

8 Cohesión y Separación Cohesión: El miembro de cada clúster debe ser lo más cercano posible a los otros miembros del mismo clúster. Separación: Los clúster deben estar ampliamente separados entre ellos. Existen varios enfoques para medir esta distancia entre clúster: distancia entre el miembro más cercano, distancia entre los miembros más distantes o la distancia entre los centroides.

9 Sum of Squared Within (SSW) Medida interna especialmente usada para evaluar la Cohesión de los clústeres que el algoritmo de agrupamiento generó. SSE = k i=1 xϵc i dist 2 (m i, x) Siendo k el número de clústeres, x un punto del clúster Ci y mi el centroide del clúster Ci.

10 Sum of Squared Between (SSB) Es una medida de separación utilizada para evaluar la distancia interclúster (Separación) k SSB = n j dist 2 j=1 (c j x) Siendo k el número de clústeres, n j el número de elementos en el clúster j, c j el centroide del clúster j y x es la media del data set.

11 Sum of Squares based Indexes Los índices o medidas basadas en las "sumas de cuadrados" presentadas anteriormente se caracterizan por medir o cuantificar la dispersión de los puntos a nivel inter-cluster e intra-cluster. Los índices son: Ball y Hall (1965) Calinski y Harabasz (1974) Hartigan (1975) SSW k SSB/(k 1) SSW/(n k) log( SSB SSW ) Xu (1997) d log SSW dn 2 + log k Siendo k el número de clústeres, N el número de datos y d la dimensión de los datos.

12 Otros Índices Internos Existe otro grupo de índices o métricas internas que no tiene relación con los mencionados anteriormente y que se basan en otros criterios: Índice Davies-Bouldin (DB) Coeficiente de Silhouette

13 Davies-Bouldin index (DB) Éste índice está definido como DB = 1 k k i=1,i j max σ i + σ j d(c i, c j ) Donde k es el número de clústeres, σ i es la distancia promedio entre cada punto en el clúster i y el centroide del clúster, σ j es la distancia promedio entre cada punto del clúster j y el centroide del clúster, y d(c i, c j ) es la distancia entre los centroides de los 2 clústeres. Valores pequeños para el índice DB indica clústeres compactos, y cuyos centros estas bien separados los unos de los otros. Consecuentemente el número de clústeres que minimiza el índice DB se toma como el óptimo.

14 Coeficiente de Silhouette Dado un punto x del conjunto de datos : Cohesión a(x) : distancia promedio de x a todos los demás puntos en el mismo clúster. Separación b(x) : distancia promedio de x a todos los demás puntos en el clúster más cercano.

15 Coeficiente de Silhouette El coeficiente de silhouette para el punto x está definido como: s(x) = b x a(x) max *a x, b x + Donde el valor de s(x) puede variar entre -1 y = mal agrupamiento 0 = indiferente 1 = bueno El coeficiente de Silhouette para todo el agrupamiento es : N SC = 1 N s(x) i=1

16 Métricas de Validación Externa Cuando se tiene información externa tal como la clase de cada dato, es común y ampliamente utilizado el siguiente análisis: Se tiene la clase de cada dato en el data set, es decir, se tiene de antemano el número de clúster y a cual clúster pertenece cada dato. Clúster i

17 Métricas de Validación Externa Una vez realizado el agrupamiento mediante algún algoritmo para ese propósito (k-means, DBSCAN), el algoritmo puede sugerir un nuevo agrupamiento de los datos, diferente al que indicaran las clases conocidas de antemano: Clúster j

18 Métricas de Validación Externa Teniendo el agrupamiento sugerido por el algoritmo utilizado, el pasos siguiente es la construcción de una tabla como la siguiente Cluster j Verdad Hipótesis P N P N Se ubica en las columnas la información referente a la "Verdad", es decir, las etiquetas de las clases que se conocen de antemano. A nivel de las filas se maneja la información correspondiente al resultado del algoritmo

19 Métricas de Validación Externa Se comienza a trabajar con el concepto de "VP" o "Verdadero Positivo". Este termino hace referencia a aquellos puntos que fueron ubicados por el algoritmo en el mismo clúster que indicaba la clase con la que se contaba de antemano. Clúster j Hipótesis P N Verdad P VP N

20 Métricas de Validación Externa El siguiente concepto es el de "Falso Positivo" (FP) que hace referencia a aquellos puntos que fueron ubicados por el algoritmo en el clúster j y que en realidad pertenecían a otro clúster. Clúster j Hipótesis Verdad P N P VP FP N

21 Métricas de Validación Externa Los "Falsos Negativos" (FN) hacen referencia a aquellos elementos del clúster j que fueron ubicados en un clúster diferente al que indicaba su etiqueta. En el ejemplo presentado, el clúster j tiene todos sus elementos asignados correctamente, luego no hay falsos negativos. Verdad Clúster j Hipótesis P N P VP FP N FN

22 Métricas de Validación Externa El último término a aclarar es : "Verdadero Negativo" (VN). Este hace referencia a aquellos elementos que fueron ubicados correctamente fuera del clúster j, es decir, aquellos elementos ajenos al clúster en cuestión y que efectivamente no correspondían a este. Clúster j Hipótesis Verdad P N P VP FP N FN VN

23 Precisión y Recall Con la terminología anterior aclarada es posible introducir las siguientes métricas ampliamente utilizadas y provenientes del campo de Information Retrieval: la Precisión y el Recall. Clúster j Verdad P N Hipótesis P VP FP N FN VN Precisión = a a + b Recall = a a + c

24 Medida F Con los conceptos de precisión y recall es posible definir otro tipo de métrica llamada "Medida F". Esta se da en función de las dos métrica ya vistas y puede ser interpretada como la media harmónica de ambas. En particular la medida F maneja un parámetro "α" de la siguiente manera: Fα = 1 + α 1 precisión + α recall α = 1 media harmónica α ε (0:1) preferencia por la precisión α > 1 preferencia por el recall

25 Entropía y Pureza Como se mencionó, la idea de la validación externa es, una vez finalizado el algoritmo de agrupación, se compara el clúster en el que fue asignado cada elemento, con la etiqueta de clase que traía de antemano (información externa). Para determinar que tan bueno fue el agrupamiento realizado, existen otras dos métricas externas llamadas Entropía y Pureza. Sea C el conjuntos de clases en el data set D, C = (c 1, c 2,., c k ). El algoritmo de agrupamiento produce k clústeres, que particionan a D en k distintos subconjuntos D 1, D 2,, D k.

26 Entropía Para cada clúster se asume la entropía como: k entropía D i = Pr i (c j ) log 2 Pr i (c j ) j=1 Dónde Pr i (c j ) es la proporción de puntos de la clase c j ubicados en el clúster i o D i. La entropía total de todo el agrupamiento (que considera todos los clústers) es: entropía total D = k i=1 D i D x entropía(d i )

27 Pureza Mide el hecho de que un clúster contenga solo una clase entre sus datos. La pureza de cada clúster se calcula con: pureza D i = max j (Pr i c j ) La pureza total de todo el agrupamiento (considerando todos los clusters) es : pureza total D = k i=1 D i D x pureza(d i )

28 Mutual Information MI = i j p ij log p ij p i p j Siendo p ij = n ij n p i = n i n p j = n j n

29 Bibliografía LIU, Bing. Web Data Mining : Exploring Hyperlinks, Contents, and Usage Data. Springer. IBM. Sum of Squared Error (SSE) (cluster evaluation algorithms). Disponible en: statistics.help%2falg_cluster-evaluation_goodness_sse.htm PARDO, Mateo. Clustering. Nation Research Council (CNR), Berlín Alemania, Disponible en: WEINGESSEL, Andreas. DIMITRIADOU, Evgenia. DOLNICAR, Sara. An examination of Indexes For Determining the Number of Clusters in Binary Data Sets. Working Paper No. 29, Enero 1999, Disponible en: ZHAO, Qinpei. XU, Mantao. FRÄNTI Pasi. Sum-of-Squares Based Cluster Validity Index and Significance Analysis. Universidad de Joensuu, Finlandia. Disponible en: BioMed Central. Cluster Validity Measures. Disponible en:

# data[].attributes.attachment_link.title
Métricas para la validación de Clustering - PDF Descargar libre

# data[].attributes.attachment_link.description
1 Métricas para la validación de Clustering MINERIA DE DATOS Elizabeth León Guzmán, Profesor Asociado Universidad Nacional de Colombia Ingeniería de Sistemas y Computación 2 Contenido Introducción Tipos de Validación Métricas de validación internas Cohesión y separación SSW SSB Sum of Squared base Indexes Davies Bouldin Coeficiente de Silhouette Métricas de validación externas Precisión Recall Medida F Entropía Pureza Mutual Information 3 Introducción El Clustering (Agrupamiento) es un proceso no supervisado en Minería de Datos y en el Reconocimiento de Patrones, ampliamente utilizado y que es especialmente sensible a los parámetros de la entrada.

# data[].attributes.headline
Uno puede usar metricas de de similitud para encarar problemas de Procesamiento del lenguaje natural(ver similitudes entre documentos)

# data[].attributes.subject
Uno puede usar metricas de de similitud para encarar problemas de Procesamiento del lenguaje natural(ver similitudes entre documentos)

# data[].attributes.body
Índice de Davies-Bouldin

Este índice trata a cada conglomerado individualmente y busca medir qué tan similar es al conglomerado más cercano a él. El índice DB se formula de la siguiente manera:

I (c_i) representa la media de las distancias entre los objetos que pertenecen al grupo C_i y su centro. Y I (c_i, c_j) representa la distancia entre los centros de los dos grupos C_i y C_j.

Para cada clúster i en la partición, buscamos el clúster j que maximiza el índice que se describe a continuación:

La mejor agrupación es, por tanto, la que minimiza la media del valor calculado para cada agrupación. En otras palabras, el mejor agrupamiento es el que minimiza la similitud entre los grupos.

Índice de Dunn

El índice de Dunn es otra medida de validación de agrupación interna que se puede calcular de la siguiente manera:

1. Para cada grupo, calcule la distancia entre cada uno de los objetos en el grupo y los objetos en los otros grupos

2. Utilice el mínimo de esta distancia por pares como la separación entre grupos (separación mínima )

3. Para cada grupo, calcule la distancia entre los objetos en el mismo grupo.

4. Utilice la distancia máxima intra-clúster (es decir, el diámetro máximo) como compacidad intra-clúster

5. Calcule el índice de Dunn (D) de la siguiente manera:

https://complex-systems-ai.com/cluster-analysis/calinski-harabasz-davies-bouldin-dunn-and-silhouette/

# data[].attributes.attachment_link.readable_text
Calinski-Harabasz, Davies-Bouldin, Dunn and Silhouette

Calinski-Harabasz, Davies-Bouldin, Dunn and Silhouette perform well in a wide range of situations.

Calinski-Harabasz index

Performance based on average intra and inter-cluster SSE (Tr):

where B_k is the between group dispersion matrix and W_k is the within-cluster dispersion matrix defined by:

with N be the number of points in our data, C_q be the set of points in cluster q, c_q be the center of cluster q, c be the center of E, n_q be the number of points in cluster q.

Davies-Bouldin index

This index treats each cluster individually and seeks to measure how similar it is to the closest cluster to it. The DB index is formulated as follows:

I(c_i) represents the mean of the distances between the objects belonging to cluster C_i and its center. And I(c_i, c_j) represents the distance between the centers of the two clusters C_i and C_j.

For each cluster i in the partition, we look for cluster j which maximizes the index described as follows:

The best clusturing is therefore that which minimizes the average of the value calculated for each cluster. In other words, the best clusturing is the one that minimizes the similarity between the clusters.

Dunn index

The Dunn index is another internal clustering validation measure which can be computed as follow:

1. For each cluster, compute the distance between each of the objects in the cluster and the objects in the other clusters

2. Use the minimum of this pairwise distance as the inter-cluster separation (min.separation)

3. For each cluster, compute the distance between the objects in the same cluster.

4. Use the maximal intra-cluster distance (i.e maximum diameter) as the intra-cluster compactness

5. Calculate the Dunn index (D) as follow:

Silhouette

Validates performance based on intra and inter-cluster distances:

with a(i) the average dissimilarity with other data in cluster and b(i) the lowest dissimilarity to any non-member cluster for each x_i and center of cluster y:

The silhouette coefficient varies between -1 (worst classification) and 1 (best classification). The global Silhouette mean is frequently compute.

# data[].attributes.attachment_link.title
Calinski-Harabasz, Davies-Bouldin, Dunn and Silhouette - Complex systems and AI

# data[].attributes.attachment_link.description
Calinski-Harabasz, Davies-Bouldin, Dunn and Silhouette perform well in a wide range of situations. Performance based on average intra and inter-cluster SSE (Tr): where B_k is the between group dispersion matrix and W_k is the within-cluster dispersion matrix defined by: with N be the number of points in our data, C_q be the set of points in cluster q, c_q be the center of cluster q, c be the center of E, n_q be the number of points in cluster q.

# data[].attributes.headline
Uno puede usar metricas de similaridad para armar sistemas de recomendacion en base a caracteristicas demograficas.

# data[].attributes.subject
Uno puede usar metricas de similaridad para armar sistemas de recomendacion en base a caracteristicas demograficas.

# data[].attributes.body
Jaccard Similarity es una medida de proximidad común que se utiliza para calcular la similitud entre dos objetos, como dos documentos de texto. La similitud de Jaccard se puede utilizar para encontrar la similitud entre dos vectores binarios asimétricos o para encontrar la similitud entre dos conjuntos. En literatura, la similitud de Jaccard, simbolizada por J

https://www.learndatasci.com/glossary/jaccard-similarity/