Métodos de regresión no lineales by nicole yazàn

nicolemade51 — 2022-08-02 18:40:43 UTC

Consigue añadir curvatura al modelo introduciendo nuevos predictores que se obtienen al elevar todos o algunos de los predictores originales a distintas potencias.

nicolemade51 — 2022-08-02 18:40:59 UTC

Se divide el rango del predictor X en K subintervalos de forma que, en cada uno, se emplean únicamente las observaciones que pertenecen a la región para ajustar el modelo.

nicolemade51 — 2022-08-02 18:41:03 UTC

Se trata de una extensión de la regresión polinómica y de las step functions que consigue una mayor flexibilidad. Consiste en dividir el rango del predictor X en K subintervalos. Para cada una de las nuevas regiones se ajusta una función polinómica, introduciendo una serie de restricciones que hacen que los extremos de cada función se aproximen a los de las funciones de las regiones colindantes.

nicolemade51 — 2022-08-02 18:41:12 UTC

El concepto es similar a regression splines pero consigue la aproximación de los extremos de las funciones colindantes de forma distinta.

nicolemade51 — 2022-08-02 18:41:25 UTC

Se asemeja a regression splines y smoothing splines en cuanto a que también se realizan ajustes por regiones, pero en este método las regiones solapan las unas con las otras.

nicolemade51 — 2022-08-02 18:41:36 UTC

Es el resultado de extender los métodos anteriores para emplear múltiples predictores.

Partiendo del modelo lineal

nicolemade51 — 2022-08-02 18:43:53 UTC

nicolemade51 — 2022-08-02 18:44:27 UTC

Se obtiene un modelo polinómico de grado d a partir de la ecuación

nicolemade51 — 2022-08-02 18:46:39 UTC

Los modelos polinómicos se pueden ajustar mediante regresión lineal por mínimos cuadrados ya que, aunque generan modelos no lineales, su ecuación no deja de ser una ecuación lineal con predictores. Por esta misma razón, las funciones polinómicas pueden emplearse en regresión logística para predecir respuestas binarias. Solo es necesario realizar una transformación logit

nicolemade51 — 2022-08-02 18:53:22 UTC

nicolemade51 — 2022-08-02 18:56:09 UTC

Supóngase que se crean K puntos de corte c₁,c₂,...,c_k en el rango del predictor X generando K+1 intervalos. Para cada uno de estos intervalos se crea una variable dummy C₀(X), C₁(X),..., C_K(X). El valor de estas variables será 1 si X está dentro del intervalo asociado con la variable y 0 de lo contrario. Dado que cualquier valor de X va a estar comprendido en uno de los K+1 intervalos y solo en uno, únicamente una de las variables dummy tendrá el valor de 1 y las demás serán cero

nicolemade51 — 2022-08-02 18:57:19 UTC

El término I() es un indicador de función que devuelve 1 si la condición se cumple y 0 si no se cumple.

nicolemade51 — 2022-08-02 18:57:49 UTC

Una vez generados los intervalos, mediante regresión por mínimos cuadrados se ajusta un modelo lineal que contenga como predictores las variables

nicolemade51 — 2022-08-02 18:58:03 UTC

nicolemade51 — 2022-08-02 18:58:20 UTC

pueden emplearse en modelos de regresión logística.

nicolemade51 — 2022-08-02 18:58:37 UTC

nicolemade51 — 2022-08-02 19:01:47 UTC

La desventaja de este método deriva de que la mayoría de predictores no tienen puntos de corte establecidos, por lo que al imponerlos en determinadas posiciones se puede estar perdiendo la naturaleza de la relación.

nicolemade51 — 2022-08-02 19:10:17 UTC

nicolemade51 — 2022-08-02 19:11:00 UTC

nicolemade51 — 2022-08-02 19:11:57 UTC

Polinomio por partes

nicolemade51 — 2022-08-02 19:12:59 UTC

Se trata de una combinación directa de la regresión polinómica y de funciones de paso. En lugar de ajustar un polinomio de grado alto a todo el rango del predictor X, este se divide en subintervalos y en cada uno de ellos se ajusta un polinomio de menor grado. Un polinomio por partes de grado 3 emplea la función

nicolemade51 — 2022-08-02 19:13:16 UTC

nicolemade51 — 2022-08-02 19:14:19 UTC

donde los coeficientes β₀, β₁, β₂, β₃ toman diferente valor en cada una de las regiones en las que se divide el rango de X. A los puntos de corte que delimitan cada región o subintervalo se les denomina knots (c₁,..., c_k).
Si el modelo solo tiene un único punto de corte (knot) en el valor c, las funciones que describen el modelo son:

nicolemade51 — 2022-08-02 19:14:38 UTC

nicolemade51 — 2022-08-02 19:15:37 UTC

Se ajustan dos funciones polinómicas por mínimos cuadrados. Para la primera se emplean las observaciones en las que xi01, β₁₁, β₂₁, β₃₁ y para la segunda aquellas en las que xi≥c, obteniendo los coeficientes β₀₂, β₁₂, β₂₂, β₃₂

nicolemade51 — 2022-08-02 19:15:55 UTC

nicolemade51 — 2022-08-02 19:21:22 UTC

La flexibilidad de los modelos piecewise polinomial se puede controlar de dos formas:

Con el número de puntos de corte (knots) introducidos. A mayor número mayor flexibilidad.
Con el grado del polinomio empleado. El método step functions es un caso particular de piecewise polinomial en el que se emplea un polinomio de grado cero y por lo tanto el ajuste resultante es constante.

nicolemade51 — 2022-08-02 19:21:36 UTC

La desventaja de este método es que la función es discontinua, por lo que hay regiones ambiguas o de poca confianza.

Restricciones y Splines

nicolemade51 — 2022-08-02 19:22:05 UTC

Para evitar la discontinuidad y exceso de flexibilidad de los piecewise polinomial se pueden imponer restricciones a los polinomios de cada región de forma que el modelo final sea una curva continua. La restricción más básica consiste en forzar a cada polinomio a pasar por los puntos de corte que lo flanquean, de esta forma, el polinomio de la región i termina en el mismo punto donde empieza el polinomio de la región i+1.

nicolemade51 — 2022-08-02 19:22:32 UTC

nicolemade51 — 2022-08-02 19:22:55 UTC

En el caso de un piecewise polinomial de grado 3, la máxima continuidad de obtiene aplicando las siguientes restricciones:

Los polinomios deben ser continuos. Cada polinomio debe pasar por los puntos de corte que lo delimitan.
La primera derivada de los polinomios debe de ser continua. La primera derivada de cada polinomio debe pasar por los puntos de corte que lo delimitan.
La segunda derivada de los polinomios debe de ser continua. La segunda derivada de cada polinomio debe pasar por los puntos de corte que lo delimitan.

Cubic Spline o interpolacion cúbica

nicolemade51 — 2022-08-02 19:23:39 UTC

A la curva final obtenida al imponer las restricciones de continuidad sobre un piecewise polinomial de grado 3 se le conoce como cubic spline o spline de grado 3. Los cubic spline se emplean con frecuencia ya que a partir de la segunda derivada el ojo humano no aprecia la discontinuidad en los knots. A modo general, un spline de grado-d se define como un piecewise polinomial de grado-d con la condición de continuidad en las d-1 derivadas en cada punto de corte (knots)

nicolemade51 — 2022-08-02 19:23:55 UTC

nicolemade51 — 2022-08-02 19:25:03 UTC

Para poder obtener el ajuste de un cubic spline con K knots, se emplea regresión por mínimos cuadrados sobre una ecuación formada por la intersección y 3 + K predictores:

nicolemade51 — 2022-08-02 19:25:19 UTC

nicolemade51 — 2022-08-02 19:26:17 UTC

Las regression splines pueden tener mucha varianza en los extremos superior e inferior del predictor, lo que genera intervalos de confianza muy amplios. Esto es así debido a que la primera y última región carecen de restricción de continuidad en uno de sus extremos, por lo que tienen un exceso de flexibilidad.

nicolemade51 — 2022-08-02 19:26:46 UTC

La siguiente imagen muestra un natural cubic spline y un cubic spline. Ambos son aproximadamente idénticos, con la excepción de que el natural cubic spline permite reducir la variabilidad en los extremos y, por lo tanto, tiene intervalos de confianza más estrechos.

nicolemade51 — 2022-08-02 19:27:15 UTC

nicolemade51 — 2022-08-02 19:28:12 UTC

El método de regression splines supera con frecuencia a la regresión polinómica por sufrir menos varianza.

Los polinomios suelen necesitar grados altos para conseguir ajustes flexibles, sin embargo, los regression splines consiguen flexibilidad introduciendo mayor número de knots a la vez que mantienen los grados de libertad bajos.
La segunda ventaja de los regression splines es que permiten controlar como se distribuye la flexibilidad del modelo mediante la localización y distribución de los knots.

nicolemade51 — 2022-08-02 19:29:02 UTC

nicolemade51 — 2022-08-02 19:29:22 UTC

nicolemade51 — 2022-08-02 20:21:58 UTC

El objetivo cuando se ajusta una smooth curve es encontrar una función g(x) que se ajuste bien a las observaciones, es decir, que minimice la suma de los residuos al cuadrado.

nicolemade51 — 2022-08-02 20:22:27 UTC

nicolemade51 — 2022-08-02 20:22:46 UTC

El problema de esta aproximación es que si no se añade alguna restricción sobre g(x) se obtiene una función cuyo RSS=0, una curva que pasa por todos los puntos. Esto tiene como resultado un modelo excesivamente flexible con overfitting.

nicolemade51 — 2022-08-02 20:23:18 UTC

Una forma de evitarlo es seguir el mismo concepto Loss + Penalty empleado en lasso y ridge regression, introduciendo en la ecuación un elemento de penalización de forma que g(x) pase a ser la función que minimiza:

nicolemade51 — 2022-08-02 20:23:40 UTC

loss function

nicolemade51 — 2022-08-02 20:24:24 UTC

penalty

nicolemade51 — 2022-08-02 20:24:59 UTC

nicolemade51 — 2022-08-02 20:25:36 UTC

Cuando λ=0, el penalti no tiene efecto y la función g se ajusta perfectamente a todos los datos. Cuando λ→∞ , g es totalmente smooth por lo que describe una recta que pasa lo más cerca posible a todos los puntos. En este caso, el resultado es equivalente a un ajuste lineal por mínimos cuadrados.

nicolemade51 — 2022-08-02 20:26:18 UTC

nicolemade51 — 2022-08-02 20:28:06 UTC

nicolemade51 — 2022-08-02 20:30:28 UTC

Para cada punto x₀ del set de datos, se ajusta un polinomio de grado bajo empleando únicamente las observaciones cercanas a esa posición. El ajuste se realiza mediante regresión de mínimos cuadrados ponderados, dando más peso a los puntos cercanos a x₀ y menos cuanto más alejados están. El ajuste LOESS finaliza cuando el proceso se ha repetido para cada una de las n observaciones del set de datos.

nicolemade51 — 2022-08-02 20:33:32 UTC

Para cada posición x₀ ocupada por una observación:

Se identifican la fracción s=k/n de observaciones más cercanas al punto x0.
Se asigna un peso a cada observación vecina (dentro de las seleccionadas en el paso 1) de forma que la observación más alejada tiene peso 0 y la más cercana tiene el mayor peso. Todas las demás observaciones del set de datos tienen peso 0.
Ajuste regresión de mínimos cuadrados ponderados.
El valor predicho de x₀ viene dado por el ajuste obtenido en el paso 3.

SPAN

nicolemade51 — 2022-08-02 20:35:11 UTC

El span es el parámetro más importante y con mayor impacto en la regresión local. Cuanto menor es el span, menor la fracción de observaciones vecinas empleadas en cada ajuste local y, por lo tanto, mayor flexibilidad del modelo

Grado del polinomio

nicolemade51 — 2022-08-02 20:35:37 UTC

El polinomio local empleado para ajustar cada subset de datos suele ser siempre de primer o segundo grado, es decir, o bien un ajuste lineal o bien uno cuadrático. Aunque desde el punto de vista teórico se pueden emplear polinomios de mayor grado, estos tienden a producir overfit y reducen la precisión del modelo.

FUNCIÓN PARA DESIGNAR PESOS

nicolemade51 — 2022-08-02 20:37:19 UTC

nicolemade51 — 2022-08-02 20:37:48 UTC

nicolemade51 — 2022-08-02 20:38:29 UTC

nicolemade51 — 2022-08-02 20:39:21 UTC

se pueden incorporar relaciones no lineales entre los predictores y la variable respuesta reemplazando cada componente lineal βjxij por una función no lineal f_j(x_ij)

nicolemade51 — 2022-08-02 20:39:58 UTC

nicolemade51 — 2022-08-02 20:40:48 UTC

Los GAM permite aplicar las diferentes técnicas de ajuste no linear descritas en los apartados anteriores a cada uno de los predictores, logrando una gran flexibilidad.

nicolemade51 — 2022-08-02 20:42:13 UTC

Ventajas y desventajas de los GAM

nicolemade51 — 2022-08-02 20:44:32 UTC

Los GAM permiten ajustar una función no lineal f_jdistinta a cada predictor X_j. Esto hace posible incorporar la relación de cada predictor con la variable respuesta de forma precisa.
Dado que el modelo es aditivo, se puede estudiar el efecto de cada predictor X_j sobre la variable Y, manteniendo constantes el resto de predictores. Para esto, las representaciones gráficas son de mucha ayuda.
La flexibilidad de cada función f_jpuede, tanto controlarse como resumirse, mediante los grados de libertad.
Los GAM son un buen punto intermedio entre los modelos lineales y los modelos no paramétricos (random forest, boosting …).
La mayor limitación de los modelos GAM es que, al ser aditivos, no contemplan interacciones entre predictores de forma automática. Al igual que en los modelos lineales múltiples, se puede introducir manualmente interacciones mediante la creación de nuevos predictores de tipo X_jxX_k.

nicolemade51 — 2022-08-02 20:45:41 UTC

nicolemade51 — 2022-08-02 20:46:09 UTC

nicolemade51 — 2022-08-02 20:46:31 UTC

nicolemade51 — 2022-08-02 20:46:49 UTC

Regresión logística

nicolemade51 — 2022-08-02 20:47:50 UTC

nicolemade51 — 2022-08-02 20:48:00 UTC

nicolemade51 — 2022-08-02 20:48:19 UTC

nicolemade51 — 2022-08-02 20:49:10 UTC

>Métodos de regresión no lineal: regresión polinómica, regression splines, smooth splines y GAMs by Joaquín Amat Rodrigo, available under a Attribution 4.0 International (CC BY 4.0) at https://www.cienciadedatos.net/documentos/32_metodos_de_regresion_no_lineal_polinomica_splines_gams
>Regresión no lineal - Documentación de IBM

nicolemade51 — 2022-08-04 04:15:01 UTC

La regresión logística resulta útil para los casos en los que se desea predecir la presencia o ausencia de una característica o resultado según los valores de un conjunto de predictores. Es similar a un modelo de regresión lineal pero está adaptado para modelos en los que la variable dependiente es dicotómica. Los coeficientes de regresión logística pueden utilizarse para estimar la razón de probabilidad de cada variable independiente del modelo. La regresión logística se puede aplicar a un rango más amplio de situaciones de investigación que el análisis discriminante.

nicolemade51 — 2022-08-04 04:17:21 UTC