Acadevor Python - Clase 9 by Ing. Layla Scheli https://padlet.com/laylascheli/y5h6bimsr8vnafli Hecho con encanto en-us 2022-04-13 17:25:18 UTC 2022-04-13 17:56:18 UTC hello@padlet.com Consigna laylascheli https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142744945 Investigar y analizar cuales son las metricas mas importantes para evaluar los modelos de regresion]]> 2022-04-13 17:25:56 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142744945 Fabio Lofruscio https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142762151 métodos de mínimos cuadrados
Desviación absoluta media (MAD)
(MAPE) Error porcentual medio absoluto
Sumatoria de errores al cuadrado (CFE)]]> 2022-04-13 17:37:12 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142762151 Mauricio Carcasson https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142764391 Hay tres métricas de error que se usan comúnmente para evaluar y reportar el desempeño de un modelo de regresión; son:

  • Error cuadrático medio (MSE).
  • Error cuadrático medio (RMSE).
  • Error absoluto medio (MAE)
Hay muchas otras métricas de regresión, aunque estas son las más utilizadas. Puede ver la lista completa de métricas de regresión compatibles con la biblioteca de aprendizaje automático de Python de scikit-learn aquí:

En la siguiente sección, echemos un vistazo más de cerca a cada uno de ellos.

]]> 2022-04-13 17:38:50 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142764391 Métricas de regresión. Hay tres métricas de error que se usan comúnmente para evaluar y reportar el desempeño de un modelo de regresión, son : Error medio cuadrado, Error cuadrático medio, Error absoluto medio https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142764682

]]> 2022-04-13 17:39:03 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142764682 Federico https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142767751 Los modelos predictivos se han convertido en un asesor de confianza para muchas empresas y por una buena razón. Estos modelos pueden "prever el futuro", y hay muchos métodos diferentes disponibles, lo que significa que cualquier industria puede encontrar uno que se ajuste a sus retos particulares.

Cuando hablamos de modelos predictivos, nos referimos a un modelo de regresión (salida continua) o a un modelo de clasificación (salida nominal o binaria). En los problemas de clasificación, utilizamos dos tipos de algoritmos (dependiendo del tipo de salida que este crea):
  1. Salida de clase: Algoritmos como Support Vector Machine y K Nearest Neighbors crean una salida de clase. Por ejemplo, en un problema de clasificación binaria, las salidas serán 0 o 1. Sin embargo, hoy en día tenemos algoritmos que pueden convertir estas salidas de clase en probabilidad.
  2. Salida de probabilidad: Algoritmos como la Regresión Logística, el Bosque Aleatorio, potenciación del Gradiente, el Adaboost, etc. dan salidas de probabilidad. Convertir las salidas de probabilidad en salidas de clase es sólo cuestión de crear un umbral de probabilidad

Lea también:
Tipos Claves De Regresiones: ¿Cuál Usar?


Introducción

Si bien la preparación de los datos y el entrenamiento de un modelo de aprendizaje de máquina es un paso clave en el proceso de aprendizaje automático, es igualmente importante medir el rendimiento de este modelo entrenado. Lo bien que el modelo generaliza sobre los datos no vistos es lo que define los modelos de aprendizaje automático adaptables frente a los no adaptables.

Al utilizar diferentes métricas para la evaluación del rendimiento, deberíamos estar en posición de mejorar el poder de predicción general de nuestro modelo antes de que lo pongamos en marcha para la producción sobre datos no vistos antes.

Si no se realiza una evaluación adecuada del modelo aprendizaje automático utilizando diferentes métricas, y se usa sólo la precisión, puede darse un problema cuando el modelo respectivo se despliega sobre datos no vistos y puede dar lugar a malas predicciones.

Esto sucede porque, en casos como éste, nuestros modelos no aprenden sino que memorizan; por lo tanto, no pueden generalizar bien sobre datos no vistos.

Métricas de evaluación del modelo
Definamos ahora las métricas de evaluación para valorar el rendimiento de un modelo de aprendizaje automático, que es un componente integral de cualquier proyecto de ciencia de los datos. Su objetivo es estimar la precisión de la generalización de un modelo sobre los datos futuros (no vistos/fuera de muestra).

Matriz de confusión

Una matriz de confusión es una representación matricial de los resultados de las predicciones de cualquier prueba binaria que se utiliza a menudo para describir el rendimiento del modelo de clasificación (o "clasificador") sobre un conjunto de datos de prueba cuyos valores reales se conocen.

La matriz de confusión es relativamente sencilla de comprender, pero la terminología relacionada puede ser confusa.


Matriz de confusión con 2 etiquetas de clase.

Cada predicción puede ser uno de cuatro resultados, basado en cómo coincide con el valor real:
  • Verdadero Positivo (TP): Predicho Verdadero y Verdadero en realidad.
  • Verdadero Negativo (TN): Predicho Falso y Falso en realidad.
  • Falso Positivo (FP): Predicción de verdadero y falso en la realidad.
  • Falso Negativo (FN): Predicción de falso y verdadero en la realidad.
Ahora entendamos este concepto usando la prueba de hipótesis.

Lea también:
Falsos Positivos Vs. Falsos Negativos 

Una hipótesis es una especulación o teoría basada en pruebas insuficientes que se presta a más pruebas y experimentación. Con más pruebas, una hipótesis puede ser probada como verdadera o falsa.

Una Hipótesis Nula es una hipótesis que dice que no hay significancia estadística entre las dos variables de la hipótesis. Es la hipótesis que el investigador está tratando de refutar.

Siempre rechazamos la hipótesis nula cuando es falsa, y aceptamos la hipótesis nula cuando es realmente verdadera.

Aunque las pruebas de hipótesis se supone que son fiables, hay dos tipos de errores que pueden ocurrir.

Estos errores se conocen como errores de Tipo I y Tipo II.
Por ejemplo, cuando se examina la eficacia de una droga, la hipótesis nula sería que la droga no afecta a una enfermedad.
Error de Tipo I: equivalente a los Falsos Positivos(FP).
El primer tipo de error posible implica el rechazo de una hipótesis nula que es verdadera.

Volvamos al ejemplo de una droga que se utiliza para tratar una enfermedad. Si rechazamos la hipótesis nula en esta situación, entonces afirmamos que la droga tiene algún efecto sobre una enfermedad. Pero si la hipótesis nula es cierta, entonces, en realidad, la droga no combate la enfermedad en absoluto. Se afirma falsamente que la droga tiene un efecto positivo en una enfermedad.

Error de tipo II:- equivalente a Falsos Negativos(FN).
El otro tipo de error que ocurre cuando aceptamos una hipótesis falsa nula. Este tipo de error se llama error de tipo II y también se conoce como error de segundo tipo.
Si pensamos de nuevo en el escenario en el que estamos probando una droga, ¿cómo sería un error de tipo II? Un error de tipo II ocurriría si aceptáramos que la droga no tiene efecto sobre la enfermedad, pero en realidad, sí lo tiene.
]]> 2022-04-13 17:41:14 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142767751 Patricio https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142772139
Metricas de evaluación

Antes de poder definir las diferentes métricas utilizadas para evaluar la regresión, tenemos que definir lo que realmente es un error: el error de un modelo de regresión es la diferencia entre los datos puntuales y la línea de tendencia generada por el algoritmo.
Un error puede ser determinado de multiples maneras:

  • Error medio absoluto (MAE) es la media del valor absoluto de los errores. Es la medida más fácil de entender, ya que es sólo el error promedio.
  • Error cuadrático medio (MSE) es la media de los errores al cuadrado. Es más popular que el error medio absoluto porque el enfoque se orienta más hacia grandes errores. Esto se debe a que el término al cuadrado aumenta exponencialmente los errores más grandes en comparación con los más pequeños.
  • Raiz cuadrada del error cuadrático medio (RMSE) es la raíz cuadrada de la anterior medida. Esta es una de las métricas más populares de las métricas de evaluación porque es interpretable en las mismas unidades que el vector de respuesta (o unidades
    ) haciendo fácil de correlacionar con la información.
  • Error absoluto relativo (RAE), también conocido como la suma residual de cuadrado, donde la barra de
    es un valor medio de
    , toma el error absoluto total y la normaliza dividiendo por el error absoluto total del predictor simple.
  • Error cuadrático relativo (RSE) es muy similar a «Error absoluto relativo», pero se usa para calcular R-cuadrado. R-cuadrado no es un error, si no, una métrica popular para la precisión de su modelo. Representa como de cerca están los valores de los datos de la línea de regresión ajustada. Cuanto más alto sea el R-cuadrado, mejor encaja el modelo a los datos.
 

Cada una de estas métricas se puede utilizar para cuantificar la predicción. La elección de la métrica depende del tipo de modelo, el tipo de datos y el dominio del conocimiento.

]]> 2022-04-13 17:44:21 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142772139 https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142784981 2022-04-13 17:53:40 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142784981 Fernando https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142786388 En análisis de regresión las principales métricas son las siguientes:

  • Mean Squared Error (MSE)
  • Mean Absolute Error (MAE)
  • R2 (RMSE)


]]> 2022-04-13 17:54:44 UTC https://padlet.com/laylascheli/y5h6bimsr8vnafli/wish/2142786388