# data[].attributes.body
Consigue añadir curvatura al modelo introduciendo nuevos predictores que se obtienen al elevar todos o algunos de los predictores originales a distintas potencias.

# data[].attributes.body
Se divide el rango del predictor X en K subintervalos de forma que, en cada uno, se emplean únicamente las observaciones que pertenecen a la región para ajustar el modelo.

# data[].attributes.body
Se trata de una extensión de la regresión polinómica y de las step functions que consigue una mayor flexibilidad. Consiste en dividir el rango del predictor X en K subintervalos. Para cada una de las nuevas regiones se ajusta una función polinómica, introduciendo una serie de restricciones que hacen que los extremos de cada función se aproximen a los de las funciones de las regiones colindantes.

# data[].attributes.body
El concepto es similar a regression splines pero consigue la aproximación de los extremos de las funciones colindantes de forma distinta.

# data[].attributes.body
Se asemeja a regression splines y smoothing splines en cuanto a que también se realizan ajustes por regiones, pero en este método las regiones solapan las unas con las otras.

# data[].attributes.body
Es el resultado de extender los métodos anteriores para emplear múltiples predictores.

# data[].attributes.body
Se obtiene un modelo polinómico de grado d a partir de la ecuación

# data[].attributes.body
Los modelos polinómicos se pueden ajustar mediante regresión lineal por mínimos cuadrados ya que, aunque generan modelos no lineales, su ecuación no deja de ser una ecuación lineal con predictores. Por esta misma razón, las funciones polinómicas pueden emplearse en regresión logística para predecir respuestas binarias. Solo es necesario realizar una transformación logit

# data[].attributes.body
El término I() es un indicador de función que devuelve 1 si la condición se cumple y 0 si no se cumple.

# data[].attributes.body
Supóngase que se crean K puntos de corte c₁,c₂,...,ck en el rango del predictor X generando K+1 intervalos. Para cada uno de estos intervalos se crea una variable dummy C₀(X), C₁(X),..., CK(X). El valor de estas variables será 1 si X está dentro del intervalo asociado con la variable y 0 de lo contrario. Dado que cualquier valor de X va a estar comprendido en uno de los K+1 intervalos y solo en uno, únicamente una de las variables dummy tendrá el valor de 1 y las demás serán cero

# data[].attributes.body
Una vez generados los intervalos, mediante regresión por mínimos cuadrados se ajusta un modelo lineal que contenga como predictores las variables

# data[].attributes.body
pueden emplearse en modelos de regresión logística.

# data[].attributes.body
La desventaja de este método deriva de que la mayoría de predictores no tienen puntos de corte establecidos, por lo que al imponerlos en determinadas posiciones se puede estar perdiendo la naturaleza de la relación.

# data[].attributes.body
Se trata de una combinación directa de la regresión polinómica y de funciones de paso. En lugar de ajustar un polinomio de grado alto a todo el rango del predictor X, este se divide en subintervalos y en cada uno de ellos se ajusta un polinomio de menor grado. Un polinomio por partes de grado 3 emplea la función

# data[].attributes.body
donde los coeficientes β₀, β₁, β₂, β₃ toman diferente valor en cada una de las regiones en las que se divide el rango de X. A los puntos de corte que delimitan cada región o subintervalo se les denomina knots (c₁,..., ck).
Si el modelo solo tiene un único punto de corte (knot) en el valor c, las funciones que describen el modelo son:

# data[].attributes.body
Se ajustan dos funciones polinómicas por mínimos cuadrados. Para la primera se emplean las observaciones en las que xi<c obteniendo los coeficientes β₀₁, β₁₁, β₂₁, β₃₁ y para la segunda aquellas en las que xi≥c, obteniendo los coeficientes β₀₂, β₁₂, β₂₂, β₃₂

# data[].attributes.body
La flexibilidad de los modelos piecewise polinomial se puede controlar de dos formas:

Con el número de puntos de corte (knots) introducidos. A mayor número mayor flexibilidad.

Con el grado del polinomio empleado. El método step functions es un caso particular de piecewise polinomial en el que se emplea un polinomio de grado cero y por lo tanto el ajuste resultante es constante.

# data[].attributes.body
La desventaja de este método es que la función es discontinua, por lo que hay regiones ambiguas o de poca confianza.

# data[].attributes.body
Para evitar la discontinuidad y exceso de flexibilidad de los piecewise polinomial se pueden imponer restricciones a los polinomios de cada región de forma que el modelo final sea una curva continua. La restricción más básica consiste en forzar a cada polinomio a pasar por los puntos de corte que lo flanquean, de esta forma, el polinomio de la región i termina en el mismo punto donde empieza el polinomio de la región i+1.

# data[].attributes.body
En el caso de un piecewise polinomial de grado 3, la máxima continuidad de obtiene aplicando las siguientes restricciones:

Los polinomios deben ser continuos. Cada polinomio debe pasar por los puntos de corte que lo delimitan.

La primera derivada de los polinomios debe de ser continua. La primera derivada de cada polinomio debe pasar por los puntos de corte que lo delimitan.

La segunda derivada de los polinomios debe de ser continua. La segunda derivada de cada polinomio debe pasar por los puntos de corte que lo delimitan.

# data[].attributes.body
A la curva final obtenida al imponer las restricciones de continuidad sobre un piecewise polinomial de grado 3 se le conoce como cubic spline o spline de grado 3. Los cubic spline se emplean con frecuencia ya que a partir de la segunda derivada el ojo humano no aprecia la discontinuidad en los knots. A modo general, un spline de grado-d se define como un piecewise polinomial de grado-d con la condición de continuidad en las d-1 derivadas en cada punto de corte (knots)

# data[].attributes.body
Para poder obtener el ajuste de un cubic spline con K knots, se emplea regresión por mínimos cuadrados sobre una ecuación formada por la intersección y 3 + K predictores:

# data[].attributes.body
Las regression splines pueden tener mucha varianza en los extremos superior e inferior del predictor, lo que genera intervalos de confianza muy amplios. Esto es así debido a que la primera y última región carecen de restricción de continuidad en uno de sus extremos, por lo que tienen un exceso de flexibilidad.

# data[].attributes.body
La siguiente imagen muestra un natural cubic spline y un cubic spline. Ambos son aproximadamente idénticos, con la excepción de que el natural cubic spline permite reducir la variabilidad en los extremos y, por lo tanto, tiene intervalos de confianza más estrechos.

# data[].attributes.body
El método de regression splines supera con frecuencia a la regresión polinómica por sufrir menos varianza.

Los polinomios suelen necesitar grados altos para conseguir ajustes flexibles, sin embargo, los regression splines consiguen flexibilidad introduciendo mayor número de knots a la vez que mantienen los grados de libertad bajos.

La segunda ventaja de los regression splines es que permiten controlar como se distribuye la flexibilidad del modelo mediante la localización y distribución de los knots.

# data[].attributes.body
Para cada punto x₀ del set de datos, se ajusta un polinomio de grado bajo empleando únicamente las observaciones cercanas a esa posición. El ajuste se realiza mediante regresión de mínimos cuadrados ponderados, dando más peso a los puntos cercanos a x₀ y menos cuanto más alejados están. El ajuste LOESS finaliza cuando el proceso se ha repetido para cada una de las n observaciones del set de datos.

# data[].attributes.body
El objetivo cuando se ajusta una smooth curve es encontrar una función g(x) que se ajuste bien a las observaciones, es decir, que minimice la suma de los residuos al cuadrado.

# data[].attributes.body
El problema de esta aproximación es que si no se añade alguna restricción sobre g(x) se obtiene una función cuyo RSS=0, una curva que pasa por todos los puntos. Esto tiene como resultado un modelo excesivamente flexible con overfitting.

# data[].attributes.body
Una forma de evitarlo es seguir el mismo concepto Loss + Penalty empleado en lasso y ridge regression, introduciendo en la ecuación un elemento de penalización de forma que g(x) pase a ser la función que minimiza:

# data[].attributes.attachment_caption
es la parte que hace que g(x) tienda ajustarse a los datos

# data[].attributes.attachment_caption
penaliza la variabilidad de g(x) haciendo que sea smooth (que no sea excesivamente flexible)

# data[].attributes.body
Cuando λ=0, el penalti no tiene efecto y la función g se ajusta perfectamente a todos los datos. Cuando λ→∞ , g es totalmente smooth por lo que describe una recta que pasa lo más cerca posible a todos los puntos. En este caso, el resultado es equivalente a un ajuste lineal por mínimos cuadrados.

# data[].attributes.body
Para cada posición x₀ ocupada por una observación:

1. Se identifican la fracción s=k/n de observaciones más cercanas al punto x0.

2. Se asigna un peso a cada observación vecina (dentro de las seleccionadas en el paso 1) de forma que la observación más alejada tiene peso 0 y la más cercana tiene el mayor peso. Todas las demás observaciones del set de datos tienen peso 0.

3. Ajuste regresión de mínimos cuadrados ponderados.

4. El valor predicho de x₀ viene dado por el ajuste obtenido en el paso 3.

# data[].attributes.attachment_caption
 La curva azul representa la verdadera función que da lugar a las observaciones y la línea amarilla representa la función estimada por LOESS. 

# data[].attributes.body
El span es el parámetro más importante y con mayor impacto en la regresión local. Cuanto menor es el span, menor la fracción de observaciones vecinas empleadas en cada ajuste local y, por lo tanto, mayor flexibilidad del modelo

# data[].attributes.body
El polinomio local empleado para ajustar cada subset de datos suele ser siempre de primer o segundo grado, es decir, o bien un ajuste lineal o bien uno cuadrático. Aunque desde el punto de vista teórico se pueden emplear polinomios de mayor grado, estos tienden a producir overfit y reducen la precisión del modelo.

# data[].attributes.attachment_caption
 La función de peso que se emplea con más frecuencia es la tri-cube weight function.

# data[].attributes.attachment_caption
Partiendo de un modelo de regresión lineal múltiple con p predictores

# data[].attributes.body
se pueden incorporar relaciones no lineales entre los predictores y la variable respuesta reemplazando cada componente lineal βjxij por una función no lineal fj(xij)

# data[].attributes.attachment_caption
El resultado es un modelo aditivo en el que se calcula una función no lineal fj separada para cada predictor Xj y luego se suman todas sus contribuciones.

# data[].attributes.body
Los GAM permite aplicar las diferentes técnicas de ajuste no linear descritas en los apartados anteriores a cada uno de los predictores, logrando una gran flexibilidad.

# data[].attributes.attachment_caption
resultado de ajustar el modelo wage=β0+f1(year)+f2(age)+f3(education)+ϵ empleando natural splines para los dos primeros predictores y contasnte 3 predictor.

# data[].attributes.body
Los GAM permiten ajustar una función no lineal fj distinta a cada predictor  Xj. Esto hace posible incorporar la relación de cada predictor con la variable respuesta de forma precisa.

Dado que el modelo es aditivo, se puede estudiar el efecto de cada predictor Xj sobre la variable Y, manteniendo constantes el resto de predictores. Para esto, las representaciones gráficas son de mucha ayuda.

La flexibilidad de cada función fj puede, tanto controlarse como resumirse, mediante los grados de libertad.
Los GAM son un buen punto intermedio entre los modelos lineales y los modelos no paramétricos (random forest, boosting …).

La mayor limitación de los modelos GAM es que, al ser aditivos, no contemplan interacciones entre predictores de forma automática. Al igual que en los modelos lineales múltiples, se puede introducir manualmente interacciones mediante la creación de nuevos predictores de tipo XjxXk.

# data[].attributes.body
>Métodos de regresión no lineal: regresión polinómica, regression splines, smooth splines y GAMs by Joaquín Amat Rodrigo, available under a Attribution 4.0 International (CC BY 4.0) at https://www.cienciadedatos.net/documentos/32_metodos_de_regresion_no_lineal_polinomica_splines_gams
>Regresión no lineal - Documentación de IBM

# data[].attributes.body
La regresión logística resulta útil para los casos en los que se desea predecir la presencia o ausencia de una característica o resultado según los valores de un conjunto de predictores. Es similar a un modelo de regresión lineal pero está adaptado para modelos en los que la variable dependiente es dicotómica. Los coeficientes de regresión logística pueden utilizarse para estimar la razón de probabilidad de cada variable independiente del modelo. La regresión logística se puede aplicar a un rango más amplio de situaciones de investigación que el análisis discriminante.