# data[].attributes.headline
Maria  -  Métricas de regresión en aprendizaje automatico: MAE vs MSE

# data[].attributes.subject
Maria  -  Métricas de regresión en aprendizaje automatico: MAE vs MSE

# data[].attributes.body
Investigar acerca del uso y aplicaciond de las diferentes metricas para la evaluacion de modelos en algoritmos de regresion.

# data[].attributes.body
https://www.youtube.com/watch?v=1R_g84BH9CQ

# data[].attributes.attachment_link.authors[].name
Universitat Politècnica de València - UPV

# data[].attributes.attachment_link.title
Aprendizaje automático. Métricas para regresión | 24/66 | UPV

# data[].attributes.body
https://www.statdeveloper.com/evaluacion-del-modelo-de-regresion/

# data[].attributes.attachment_link.readable_text
Evaluación del modelo de regresión

El objetivo al realizar un modelo de regresión es predecir con precisión un caso desconocido. Con este fin, tenemos que realizar una evaluación del modelo de regresión después de crear el modelo. Para realizarlo podemos usar el entrenamiento y la prueba en el mismo conjunto de datos. También podemos realizar una división del conjunto de datos para entrenamiento y otro para prueba.

La primera solución consiste en seleccionar una parte de nuestro conjunto de datos para la realización de pruebas. Usamos todo el conjunto de datos para el entrenamiento, y construimos un modelo usando este conjunto de entrenamiento. Luego seleccionamos una pequeña porción del conjunto de datos, que se utiliza como valores reales del conjunto de pruebas. Pasamos este conjunto por nuestro modelo construido, pronosticando valores. Por último, comparamos los valores pronosticados por nuestro modelo con los valores reales.

Modelo Train/Test Split

Una forma de mejorar la precisión fuera de la muestra consiste en utilizar otro enfoque de evaluación denominado "Train/Test Split" (División entre entrenamiento y prueba). En este enfoque, seleccionamos una parte de nuestro conjunto de datos para entrenamiento y el resto se utiliza para probar. El modelo se basa en el conjunto de formación y luego se pasa para la predicción. Finalmente, los valores pronosticados para el conjunto de pruebas se comparan con los valores reales del conjunto de datos. Este modelo implica la división del conjunto de datos en conjuntos de formación y pruebas, respectivamente, que son mutuamente excluyentes. Esto proporcionará una evaluación más precisa sobre la precisión de fuera de la muestra, ya que la prueba del conjunto de datos NO forma parte del conjunto de datos que se ha utilizado para formar los datos.

Este modelo depende de los conjunto de datos en los que los datos fueron formados y probados. Así que aún tiene algunos problemas debido a esta dependencia. Otro modelo de evaluación, denominado "k-fold cross-validation", soluciona la mayoría de estos problemas. Este modelo se basa en hacer k-veces el modelo "Train/Test Split" y luego promediando la precisión. Supongamos que hemos tomado la decisión de realizar 4 pruebas de tipo "Train/Test Split", para cada una de ellas tomaremos 1/4 de todo el conjunto de datos como datos para las pruebas, y el resto para la formación del modelo. Se evalua la precisión para cada uno de los modelos y finalmente se calcula el promedio de precisón.

Evaluación del modelo

Hay diferentes métricas de la evaluación del modelo de regresión, pero la mayoría de ellos se basan en la similitud de los valores pronosticados y reales. Una de las métricas más simples para calcular la precisión de nuestro modelo
de regresión es el error calculado como la diferencia promedio entre los valores predichos y los reales para todas las filas.

En un sentido general, cuando se prueba con un conjunto de datos en el que se conoce el valor objetivo para cada dato puntual, es capaz de obtener un porcentaje de predicciones exactas para el modelo. Este enfoque de evaluación probablemte tendría una alta "precisión de formación" y una baja "precisión fuera de la muestra", ya que el modelo conoce todos los datos de prueba.
La precisión de la formación es el porcentaje de predicciones correctas que hace el modelo cuando se utiliza el conjunto de datos de prueba. Sin embargo, una alta precisión en la formación no es necesariamente algo bueno, ya que puede dar como resultado un sobreajuste de los datos, un modelo que puede estar mostrando ruido y producir un modelo no generalizado.
La precisión fuera de la muestra es el porcentaje de las predicciones correctas que el modelo realiza sobre datos que NO ha sido formado el modelo. Si hacemos "formación y prueba" en el mismo conjunto de datos probablemente el modelo tendrá una precisión baja fuera de la muestra.

Es importante que nuestros modelos tengan una precisión alta, fuera de la muestra, ya que deben hacer predicciones correctas sobre datos desconocidos.

Metricas de evaluación

Antes de poder definir las diferentes métricas utilizadas para evaluar la regresión, tenemos que definir lo que realmente es un error: el error de un modelo de regresión es la diferencia entre los datos puntuales y la línea de tendencia generada por el algoritmo.
Un error puede ser determinado de multiples maneras:

# data[].attributes.attachment_link.title
Evaluación del modelo de regresión - StatDeveloper

# data[].attributes.attachment_link.description
El objetivo al realizar un modelo de regresión es predecir con precisión un caso desconocido. Con este fin, tenemos que realizar una evaluación del modelo de regresión después de crear el modelo. Para realizarlo podemos usar el entrenamiento y la prueba en el mismo conjunto de datos.

# data[].attributes.attachment_link.readable_text
Aprendizaje automatico Parte 1 -Métricas de regresión en Machine Learning utilidad de métrica de error según el objetivo.

Las metricas de regresión en aprendizaje automatico y cada modelo de Machine Learning que la utiliza intenta resolver un problema con un objetivo diferente utilizando un conjunto de datos diferente y, por lo tanto, es importante comprender el contexto antes de elegir una métrica.

Generalmente, las respuestas a la siguiente pregunta nos ayudan a elegir la métrica apropiada:

Tipo de tarea: ¿Regresión? ¿Clasificación?

Objetivo de negocio?

¿Cuál es la distribución de la variable objetivo?

Bueno, en este post, discutiré la utilidad de cada métrica de error según el objetivo y el problema que intentemos resolver. Esta Parte1 se enfoca solo en métricas de evaluación de regresión.

(MSE) - Error cuadrático medio

(RMSE) -Error cuadrático medio

(MAE) -Error absoluto medio

(R²) - R al cuadrado

R cuadrado ajustado (R²)

(MSPE) - Error de porcentaje cuadrático medio

(MAPE) - Error porcentual absoluto medio

(RMSLE) - Error logarítmico cuadrático medio

Métricas de regresión en aprendizaje automatico: Error cuadrático medio (MSE)

Es quizás la métrica más simple y común para la evaluación de regresión, pero también es probablemente la menos útil. Se define por la ecuación.

donde yᵢ es el resultado real esperado y ŷᵢ es la predicción del modelo.

MSE básicamente mide el error cuadrado promedio de nuestras predicciones. Para cada punto, calcula la diferencia cuadrada entre las predicciones y el objetivo y luego promedia esos valores.

Cuanto mayor sea este valor, peor es el modelo. Nunca es negativo, ya que estamos cuadrando los errores de predicción individuales antes de sumarlos, pero sería cero para un modelo perfecto.

Ventaja:

Útil si tenemos valores inesperados que nos deberían interesar. Muy alto o bajo valor que debemos prestar atención.

Desventaja:

Si hacemos una predicción muy mala, la cuadratura empeorará aún más el error y puede sesgar la métrica para sobreestimar la maldad del modelo. Este es un comportamiento particularmente problemático si tenemos datos ruidosos (es decir, los datos que por cualquier motivo no son del todo confiables).

Incluso un modelo "perfecto" puede tener un MSE alto en esa situación. Por lo que es difícil juzgar qué tan bien modelo está realizando.

Por otro lado, si todos los errores son pequeños, o más bien, más pequeños que 1, se siente el efecto contrario: podemos subestimar la maldad del modelo.

Tenga en cuenta que si queremos tener una predicción constante, la mejor será el valor medio de los valores objetivo. Se puede encontrar estableciendo la derivada de nuestro error total con respecto a esa constante a cero, y descúbrela a partir de esta ecuación.

Métricas de regresión en aprendizaje automatico: Error cuadrático medio (RMSE)

RMSE es solo la raíz cuadrada de MSE. La raíz cuadrada se introduce para hacer que la escala de los errores sea igual a la escala de los objetivos.

Ahora, es muy importante entender en qué sentido RMSE es similar a MSE y cuál es la diferencia.

Primero, son similares en términos de sus minimizadores, cada minimizador de MSE es también un minimizador para RMSE y viceversa, ya que la raíz cuadrada es una función que no disminuye. Por ejemplo, si tenemos dos conjuntos de predicciones, A y B, y decimos que el MSE de A es mayor que el MSE de B, entonces podemos estar seguros de que RMSE de A es mayor que RMSE de B. Y también funciona en la dirección opuesta .

¿Qué significa para nosotros?

Significa que, si la métrica objetivo es RMSE, aún podemos comparar nuestros modelos utilizando MSE, ya que MSE ordenará los modelos de la misma manera que RMSE. Así podemos optimizar MSE en lugar de RMSE.

De hecho, es más fácil trabajar con MSE, por lo que todos usan MSE en lugar de RMSE. También un poco de diferencia entre los dos para los modelos basados ​​en gradientes.

Significa que viajar a lo largo del gradiente MSE es equivalente a viajar a lo largo del gradiente RMSE, pero con una tasa de flujo diferente y la tasa de flujo depende de la puntuación de MSE en sí.

Entonces, aunque RMSE y MSE son realmente similares en términos de puntuación de modelos, pueden no ser intercambiables de forma inmediata para los métodos basados ​​en gradientes. Probablemente tengamos que ajustar algunos parámetros como la tasa de aprendizaje.

Métricas de regresión en aprendizaje automatico: Error absoluto medio (MAE)

En MAE, el error se calcula como un promedio de diferencias absolutas entre los valores objetivo y las predicciones. El MAE es una puntuación lineal, lo que significa que todas las diferencias individuales se ponderan por igual en el promedio. Por ejemplo, la diferencia entre 10 y 0 será el doble de la diferencia entre 5 y 0. Sin embargo, lo mismo no es cierto para RMSE. Matemáticamente, se calcula utilizando esta fórmula:

Lo importante de esta métrica es que penaliza errores enormes que no tan mal como lo hace MSE. Por lo tanto, no es tan sensible a los valores atípicos como el error cuadrático medio.

El MAE se usa ampliamente en finanzas, donde el error de $ 10 suele ser exactamente dos veces peor que el error de $ 5. Por otro lado, la métrica de MSE piensa que el error de $ 10 es cuatro veces peor que el error de $ 5. MAE es más fácil de justificar que RMSE.

Otra cosa importante acerca de MAE es sus gradientes con respecto a las predicciones. El gradiend es una función de pasos y toma -1 cuando Y_hat es más pequeño que el objetivo y +1 cuando es más grande.

Ahora, el gradiente no se define cuando la predicción es perfecta, porque cuando Y_hat es igual a Y, no podemos evaluar el gradiente. No está definido.

Entonces, formalmente, el MAE no es diferenciable, pero de hecho, con qué frecuencia sus predicciones miden perfectamente el objetivo. Incluso si lo hacen, podemos escribir una condición de IF simple y un cero de retorno cuando sea el caso y, de lo contrario, a través del gradiente. También sepa que la segunda derivada es cero en todas partes y no está definida en el punto cero.

Tenga en cuenta que si queremos tener una predicción constante, la mejor será el valor de la mediana de los valores objetivo. Se puede encontrar estableciendo la derivada de nuestro error total con respecto a esa constante a cero, y descúbrela a partir de esta ecuación.

Métricas de regresión en aprendizaje automatico: R al cuadrado (R²)
Ahora, ¿qué pasa si le dije que MSE para mis predicciones de modelos es 32? ¿Debo mejorar mi modelo o es lo suficientemente bueno? ¿O si mi MSE era 0,4?.
En realidad, es difícil darse cuenta si nuestro modelo es bueno o no al observar los valores absolutos de MSE o RMSE. Probablemente querremos medir cómo Mucho nuestro modelo es mejor que la línea de base constante.

El coeficiente de determinación, o R² (a veces leído como R-dos), es otra medida que podemos usar para evaluar un modelo y está estrechamente relacionada con la MSE, pero tiene la ventaja de estar libre de escala  , no importa si Los valores de salida son muy grandes o muy pequeños, el R² siempre estará entre -∞ y 1.

Cuando R² es negativo, significa que el modelo es peor que predecir la media.

La MSE del modelo se calcula como anteriormente, mientras que la MSE de la línea de base se define como:

donde la y con una barra es la media de la y observed la observada .

Para dejarlo más claro, se puede considerar a esta MSE de referencia como la MSE que obtendría el modelo más simple posible .

El modelo más simple posible sería predecir siempre el promedio de todas las muestras. Un valor cercano a 1 indica un modelo con error cercano a cero, y un valor cercano a cero indica un modelo muy cercano a la línea de base.

En conclusión, R² es la proporción entre lo bueno que es nuestro modelo y lo bueno que es el modelo medio ingenuo.

Error común: muchos artículos en la web indican que el rango de R² se encuentra entre 0 y 1, lo que no es realmente cierto. El valor máximo de R² es 1, pero el mínimo puede ser menos infinito.

Por ejemplo, considere un modelo realmente malo que predice un valor altamente negativo para todas las observaciones a pesar de que y_actual es positivo.

En este caso, R² será menor que 0. Este es un escenario altamente improbable pero la posibilidad aún existe.

Declaré que el MAE es más robusto (menos sensible a los valores atípicos) que el MSE, pero esto no significa que siempre sea mejor usar el MAE. Las siguientes preguntas te ayudan a decidir:

Cual es el mensaje que nos llevamos?

En este artículo, discutimos varias métricas de regresión en aprendizaje automatico más importantes. Primero discutimos, Error cuadrático medio y nos dimos cuenta de que la mejor constante es el valor objetivo medio.

Root Mean Square Error y R² son muy similares a MSE desde la perspectiva de la optimización. Luego discutimos el error absoluto absoluto y cuándo las personas prefieren usar MAE en lugar de MSE.

Gracias por leer y espero escuchar sus preguntas:)
Y, 👏 si esto fue una buena leer. ¡Disfruta!

Te recomiendo que tomes un tiempo antes de comenzar un proyecto y pienses en la métrica apropiada, definitivamente te ayudará mucho.

Si te gusta este artículo también puedes leer otros dos temas interesantes de la Parte 2 que continua con las Métricas de regresión (MSE) Metricas de regresión en aprendizaje automatico y con la Parte 3 para conocer mas sobre la Seleccion Métricas de clasificación.

P.S Ten cuidado con mi próximo artículo que estudia otras métricas de regresión en aprendizaje automatico más avanzadas.

Si desea aprender más sobre el mundo del aprendizaje automatico, también puede seguirme en Instagram envíeme un correo electrónico directamente o búsqueme en linkedin .

# data[].attributes.attachment_link.title
Aprendizaje automatico y las Metricas de regresión - sitiobigdata.com

# data[].attributes.attachment_link.description
Las metricas de regresión en aprendizaje automatico y cada modelo de Machine Learning que la utiliza intenta resolver un problema con un objetivo diferente utilizando un conjunto de datos diferente y, por lo tanto, es importante comprender el contexto antes de elegir una métrica.

# data[].attributes.body
En análisis de regresión las principales métricas son las siguientes:

Mean Squared Error

Mean Absolute Error

R²

Evaluación de modelos en Scikit-Learn

Scikit-Learn incluye tres diferentes APIs para evaluar la calidad de una predicción:

Método "score": Todos los algoritmos incluyen un método "score" que provee el resultado de un criterio de evaluación por defecto para aquel problema al que están orientados. De esta manera, el método score de un modelo de clasificación basado en árbol de decisión, DecisionTreeClassifier, devuelve la precisión del modelo, entendida como el porcentaje de valores clasificados correctamente con respecto al total de elementos. O una regresión lineal devuelve el coeficiente de determinación, o R², entendida como el porcentaje de la variancia de la variable dependiente que es predecible a partir de la variable independiente.

Parámetro de scoring: Algunas herramientas de evaluación de modelos que utilizan validación cruzada (como cross_val_score o GridSeachCV) incluyen sus propias medidas de calidad.

Funciones de métrica: La sublibrería sklearn.metrics implementa un buen número de medidas de evaluación de errores de predicción para objetivos específicos.

# data[].attributes.attachment_link.title
Métricas en regresión | Interactive Chaos

# data[].attributes.attachment_link.description
En análisis de regresión las principales métricas son las siguientes:

# data[].attributes.attachment_link.readable_text
La regresión se refiere a problemas de modelado predictivo que implican predecir un valor numérico.

Es diferente de la clasificación que implica predecir una etiqueta de clase. A diferencia de la clasificación, no puede utilizar la precisión de la clasificación para evaluar las predicciones realizadas por un modelo de regresión.

En su lugar, debe utilizar métricas de error diseñadas específicamente para evaluar las predicciones realizadas sobre problemas de regresión.

En este tutorial, descubrirá cómo calcular métricas de error para regresión proyectos de modelado predictivo.

Después de completar este tutorial, sabrá:

Los modelos predictivos de regresión son aquellos problemas que involucran la predicción de un valor numérico.

Las métricas para la regresión implican calcular una puntuación de error para resumir la habilidad predictiva de un modelo.

Cómo calcular y reportar el error cuadrático medio, el error cuadrático medio y el error absoluto medio.

Empecemos.

Descripción general del tutorial

Este tutorial se divide en tres partes; son:

1. Modelado predictivo de regresión

2. Evaluación de modelos de regresión

3. Métricas de regresión

1. Error medio cuadrado

2. Error cuadrático medio

3. Error absoluto medio

Modelado predictivo de regresión

El modelado predictivo es el problema de desarrollar un modelo utilizando datos históricos para hacer una predicción sobre nuevos datos donde no tenemos la respuesta.

El modelado predictivo se puede describir como el problema matemático de aproximar una función de mapeo (f) de las variables de entrada (X) a las variables de salida (y). A esto se le llama problema de aproximación de funciones.

El trabajo del algoritmo de modelado es encontrar la mejor función de mapeo que podamos teniendo en cuenta el tiempo y los recursos disponibles.

Para obtener más información sobre la aproximación de funciones en el aprendizaje automático aplicado, consulte la publicación:

El modelado predictivo de regresión es la tarea de aproximar una función de mapeo ( F) de las variables de entrada ( X) a una variable de salida continua ( y).

La regresión es diferente de la clasificación, que implica predecir una categoría o etiqueta de clase.

Para obtener más información sobre la diferencia entre clasificación y regresión, consulte el tutorial:

Una variable de salida continua es un valor real, como un valor entero o de punto flotante. Suelen ser cantidades, como cantidades y tamaños.

Por ejemplo, se puede predecir que una casa se venderá por un valor en dólares específico, quizás en el rango de $ 100,000 a $ 200,000.

Un problema de regresión requiere la predicción de una cantidad.

Una regresión puede tener variables de entrada de valor real o discretas.

Un problema con múltiples variables de entrada a menudo se denomina problema de regresión multivariante.

Un problema de regresión en el que las variables de entrada se ordenan por tiempo se denomina problema de pronóstico de series de tiempo.

Ahora que estamos familiarizados con el modelo predictivo de regresión, veamos cómo podemos evaluar un modelo de regresión.

Evaluación de modelos de regresión

Una pregunta común de los principiantes en los proyectos de modelado predictivo de regresión es:

¿Cómo calculo la precisión de mi modelo de regresión?

La precisión (por ejemplo, la precisión de la clasificación) es una medida de clasificación, no de regresión.

Nosotros no puedo calcular la precisión para un modelo de regresión.

La habilidad o el desempeño de un modelo de regresión se debe informar como un error en esas predicciones.

Esto tiene sentido si lo piensas bien. Si está prediciendo un valor numérico como una altura o una cantidad en dólares, no querrá saber si el modelo predijo el valor exactamente (esto puede ser increíblemente difícil en la práctica); en cambio, queremos saber qué tan cerca estaban las predicciones de los valores esperados.

Error aborda exactamente esto y resume en promedio qué tan cerca estaban las predicciones de sus valores esperados.

Hay tres métricas de error que se usan comúnmente para evaluar y reportar el desempeño de un modelo de regresión; son:

Error cuadrático medio (MSE).

Error cuadrático medio (RMSE).

Error absoluto medio (MAE)

Hay muchas otras métricas de regresión, aunque estas son las más utilizadas. Puede ver la lista completa de métricas de regresión compatibles con la biblioteca de aprendizaje automático de Python de scikit-learn aquí:

En la siguiente sección, echemos un vistazo más de cerca a cada uno de ellos.

Métricas de regresión

En esta sección, analizaremos más de cerca las métricas populares para los modelos de regresión y cómo calcularlas para su proyecto de modelado predictivo.

Error medio cuadrado

Mean Squared Error, o MSE para abreviar, es una métrica de error popular para problemas de regresión.

También es una función de pérdida importante para los algoritmos ajustados u optimizados utilizando el marco de mínimos cuadrados de un problema de regresión. Aquí " mínimos cuadrados "Se refiere a minimizar el error cuadrático medio entre las predicciones y los valores esperados.

El MSE se calcula como la media o el promedio de las diferencias al cuadrado entre los valores objetivo predichos y esperados en un conjunto de datos.

MSE = 1 / N * suma de i a N (y_i - yhat_i) ^ 2

Dónde y_i es el i-ésimo valor esperado en el conjunto de datos y yhat_i es el iésimo valor predicho. La diferencia entre estos dos valores se eleva al cuadrado, lo que tiene el efecto de eliminar el signo, lo que da como resultado un valor de error positivo.

La cuadratura también tiene el efecto de inflar o magnificar errores grandes. Es decir, cuanto mayor sea la diferencia entre los valores predichos y esperados, mayor será el error cuadrado positivo resultante. Esto tiene el efecto de " agotador"Modela más para errores mayores cuando MSE se usa como función de pérdida. También tiene el efecto de " agotador "Inflando la puntuación de error promedio cuando se usa como métrica.

Podemos crear una gráfica para tener una idea de cómo el cambio en el error de predicción impacta el error al cuadrado.

El siguiente ejemplo proporciona un pequeño conjunto de datos artificial de todos los valores 1.0 y predicciones que van desde perfecto (1.0) a incorrecto (0.0) en incrementos de 0.1. El error al cuadrado entre cada predicción y el valor esperado se calcula y se traza para mostrar el aumento cuadrático del error al cuadrado.

El ejemplo completo se enumera a continuación.

# ejemplo de aumento del error cuadrático medio
desde matplotlib importar pyplot
de sklearn.metrics importar mean_squared_error
# valor real
esperado = [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0] # valor predicho
predicho = [1.0, 0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.0] # calcular errores
errores = lista ()
para i en el rango (len (esperado)):
# calcular error
err = (esperado[i] - predicho[i]) ** 2
# error de tienda
errors.append (err)
# informe de error
print ('>%. 1f,% .1f =% .3f'% (esperado[i], predicho[i], err))
# errores de trazado
pyplot.plot (errores)
pyplot.xticks (garrapatas =[i for i in range(len(errors))], etiquetas = predicho)
pyplot.xlabel ('Valor previsto')
pyplot.ylabel ('Error cuadrático medio')
pyplot.show ()

Ejecutar el ejemplo primero informa el valor esperado, el valor predicho y el error al cuadrado para cada caso.

Podemos ver que el error aumenta rápidamente, más rápido que lineal (una línea recta).

Se crea un gráfico de líneas que muestra el aumento curvo o superlineal del valor del error al cuadrado a medida que aumenta la diferencia entre el valor esperado y el predicho.

La curva no es una línea recta como podríamos asumir ingenuamente para una métrica de error.

Los términos de error individuales se promedian para que podamos informar el rendimiento de un modelo con respecto a cuánto error comete el modelo en general al hacer predicciones, en lugar de específicamente para un ejemplo dado.

Las unidades del MSE son unidades cuadradas.

Por ejemplo, si su valor objetivo representa " dolares, "Entonces el MSE será" dólares al cuadrado. " Esto puede resultar confuso para las partes interesadas; por lo tanto, al informar los resultados, a menudo se usa en su lugar el error cuadrático medio ( discutido en la siguiente sección).

El error cuadrático medio entre sus valores esperados y predichos se puede calcular usando la función mean_squared_error () de la biblioteca scikit-learn.

La función toma una matriz unidimensional o una lista de valores esperados y valores predichos y devuelve el valor de error cuadrático medio.

El siguiente ejemplo ofrece un ejemplo de cálculo del error cuadrático medio entre una lista de valores previstos y esperados artificiales.

# ejemplo de cálculo del error cuadrático medio
de sklearn.metrics importar mean_squared_error
# valor real
esperado = [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0] # valor predicho
predicho = [1.0, 0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.0] # calcular errores
errores = mean_squared_error (esperado, predicho)
# informe de error
imprimir (errores)

La ejecución del ejemplo calcula e imprime el error cuadrático medio.

Un valor de error cuadrático medio perfecto es 0.0, lo que significa que todas las predicciones coincidieron exactamente con los valores esperados.

Este casi nunca es el caso, y si sucede, sugiere que su problema de modelado predictivo es trivial.

Un buen MSE es relativo a su conjunto de datos específico.

Es una buena idea establecer primero un MSE de referencia para su conjunto de datos utilizando un modelo predictivo ingenuo, como predecir el valor objetivo medio del conjunto de datos de entrenamiento. Un modelo que logra un MSE mejor que el MSE para el modelo ingenuo tiene habilidad.

Error cuadrático medio

El error cuadrático medio, o RMSE, es una extensión del error cuadrático medio.

Es importante destacar que se calcula la raíz cuadrada del error, lo que significa que las unidades del RMSE son las mismas que las unidades originales del valor objetivo que se predice.

Por ejemplo, si su variable de destino tiene las unidades " dolares, "Entonces la puntuación de error RMSE también tendrá la unidad" dolares" y no " dólares al cuadrado "Como el MSE.

Como tal, puede ser común usar la pérdida de MSE para entrenar un modelo predictivo de regresión y usar RMSE para evaluar e informar su desempeño.

El RMSE se puede calcular de la siguiente manera:

RMSE = sqrt (1 / N * suma de i a N (y_i - yhat_i) ^ 2)

Dónde y_i es el i-ésimo valor esperado en el conjunto de datos, yhat_i es el i-ésimo valor predicho, y sqrt () es la función raíz cuadrada.

Podemos reformular el RMSE en términos del MSE como:

Tenga en cuenta que el RMSE no se puede calcular como el promedio de la raíz cuadrada de los valores de error cuadrático medio. Este es un error común que cometen los principiantes y es un ejemplo de la desigualdad de Jensen.

Quizás recuerde que la raíz cuadrada es la inversa de la operación cuadrada. MSE usa la operación de cuadrado para eliminar el signo de cada valor de error y castigar los errores grandes. La raíz cuadrada invierte esta operación, aunque asegura que el resultado sigue siendo positivo.

La raíz del error cuadrático medio entre sus valores esperados y pronosticados se puede calcular usando la función mean_squared_error () de la biblioteca scikit-learn.

Por defecto, la función calcula el MSE, pero podemos configurarlo para calcular la raíz cuadrada del MSE configurando el " cuadrado"Argumento para Falso.

La función toma una matriz unidimensional o una lista de valores esperados y valores predichos y devuelve el valor de error cuadrático medio.

El siguiente ejemplo ofrece un ejemplo de cálculo de la raíz del error cuadrático medio entre una lista de valores previstos y esperados artificiales.

# ejemplo de cálculo del error cuadrático medio
de sklearn.metrics importar mean_squared_error
# valor real
esperado = [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0] # valor predicho
predicho = [1.0, 0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.0] # calcular errores
errores = mean_squared_error (esperado, predicho, cuadrado = falso)
# informe de error
imprimir (errores)

Al ejecutar el ejemplo, se calcula e imprime la raíz del error cuadrático medio.

Un valor RMSE perfecto es 0.0, lo que significa que todas las predicciones coincidieron exactamente con los valores esperados.

Este casi nunca es el caso, y si sucede, sugiere que su problema de modelado predictivo es trivial.

Un buen RMSE es relativo a su conjunto de datos específico.

Es una buena idea establecer primero un RMSE de referencia para su conjunto de datos utilizando un modelo predictivo ingenuo, como predecir el valor objetivo medio del conjunto de datos de entrenamiento. Un modelo que logra un RMSE mejor que el RMSE para el modelo ingenuo tiene habilidad.

Error absoluto medio

El error absoluto medio, o MAE, es una métrica popular porque, como RMSE, las unidades de la puntuación de error coinciden con las unidades del valor objetivo que se predice.

A diferencia de RMSE, los cambios en RMSE son lineales y, por lo tanto, intuitivos.

Es decir, MSE y RMSE castigan los errores más grandes que los errores más pequeños, inflando o magnificando la puntuación de error media. Esto se debe al cuadrado del valor de error. El MAE no da más o menos peso a los diferentes tipos de errores y, en cambio, las puntuaciones aumentan linealmente con los aumentos del error.

Como sugiere su nombre, la puntuación MAE se calcula como el promedio de los valores de error absoluto. Absoluto o abdominales() es una función matemática que simplemente hace que un número sea positivo. Por lo tanto, la diferencia entre un valor esperado y predicho puede ser positiva o negativa y está obligada a ser positiva al calcular el MAE.

El MAE se puede calcular de la siguiente manera:

MAE = 1 / N * suma para i a N abs (y_i - yhat_i)

Dónde y_i es el i-ésimo valor esperado en el conjunto de datos, yhat_i es el i-ésimo valor predicho y abdominales() es la función absoluta.

Podemos crear una gráfica para tener una idea de cómo el cambio en el error de predicción impacta en el MAE.

El siguiente ejemplo proporciona un pequeño conjunto de datos artificial de todos los valores 1.0 y predicciones que van desde perfecto (1.0) a incorrecto (0.0) en incrementos de 0.1. El error absoluto entre cada predicción y el valor esperado se calcula y se traza para mostrar el aumento lineal del error.

El ejemplo completo se enumera a continuación.

# gráfico del aumento del error absoluto medio con error de predicción
desde matplotlib importar pyplot
de sklearn.metrics importar mean_squared_error
# valor real
esperado = [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0] # valor predicho
predicho = [1.0, 0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.0] # calcular errores
errores = lista ()
para i en el rango (len (esperado)):
# calcular error
err = abs ((esperado[i] - predicho[i]))
# error de tienda
errors.append (err)
# informe de error
print ('>%. 1f,% .1f =% .3f'% (esperado[i], predicho[i], err))
# errores de trazado
pyplot.plot (errores)
pyplot.xticks (garrapatas =[i for i in range(len(errors))], etiquetas = predicho)
pyplot.xlabel ('Valor previsto')
pyplot.ylabel ('Error absoluto medio')
pyplot.show ()

La ejecución del ejemplo primero informa el valor esperado, el valor predicho y el error absoluto para cada caso.

Podemos ver que el error aumenta linealmente, lo que es intuitivo y fácil de entender.

Se crea un gráfico de líneas que muestra el aumento lineal o en línea recta en el valor del error absoluto a medida que aumenta la diferencia entre el valor esperado y el predicho.

El error absoluto medio entre sus valores esperados y predichos se puede calcular usando la función mean_absolute_error () de la biblioteca scikit-learn.

La función toma una matriz unidimensional o una lista de valores esperados y valores predichos y devuelve el valor de error absoluto medio.

El siguiente ejemplo ofrece un ejemplo de cómo calcular el error absoluto medio entre una lista de valores previstos y esperados artificiales.

# ejemplo de cálculo del error absoluto medio
de sklearn.metrics importar mean_absolute_error
# valor real
esperado = [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0] # valor predicho
predicho = [1.0, 0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.0] # calcular errores
errores = mean_absolute_error (esperado, predicho)
# informe de error
imprimir (errores)

La ejecución del ejemplo calcula e imprime el error absoluto medio.

Un valor de error absoluto medio perfecto es 0.0, lo que significa que todas las predicciones coincidieron exactamente con los valores esperados.

Este casi nunca es el caso, y si sucede, sugiere que su problema de modelado predictivo es trivial.

Un buen MAE es relativo a su conjunto de datos específico.

Es una buena idea establecer primero un MAE de línea base para su conjunto de datos utilizando un modelo predictivo ingenuo, como predecir el valor objetivo medio del conjunto de datos de entrenamiento. Un modelo que logra un MAE mejor que el MAE para el modelo ingenuo tiene habilidad.

Otras lecturas

Esta sección proporciona más recursos sobre el tema si está buscando profundizar.

Tutoriales

API

Artículos

Resumen

En este tutorial, descubrió cómo calcular el error para proyectos de modelado predictivo de regresión.

Específicamente, aprendiste:

Los modelos predictivos de regresión son aquellos problemas que involucran la predicción de un valor numérico.

Las métricas para la regresión implican calcular una puntuación de error para resumir la habilidad predictiva de un modelo.

Cómo calcular y reportar el error cuadrático medio, el error cuadrático medio y el error absoluto medio.

¿Tiene usted alguna pregunta?
Haga sus preguntas en los comentarios a continuación y haré todo lo posible para responder.

Mira lo que hay dentro

# data[].attributes.attachment_link.title
Métricas de regresión para el aprendizaje automático - Top Big Data

# data[].attributes.attachment_link.description
La regresión se refiere a problemas de modelado predictivo que implican predecir un valor numérico. Es diferente de la clasificación que implica predecir una etiqueta de clase. A diferencia de la clasificación, no puede utilizar la precisión de la clasificación para evaluar las predicciones realizadas por un modelo de regresión.