Business Analytics con R - Clase 7 by Ing. Layla Scheli https://padlet.com/laylascheli/u63xkk42wm5hvs8x Actividad Grupal - Colaborativa en-us 2021-11-13 00:26:23 UTC 2021-11-13 00:40:55 UTC hello@padlet.com Consigna: laylascheli https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887661378 Investigar sobre los modelos de Bagging y Boosting. Tambien se solicita que puedan profundizar en los conceptos vinculados a los metodos de ensamble.]]> 2021-11-13 00:27:22 UTC https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887661378 Bagging and Boosting https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887663671 Son metodos de union de algoritmos mas simples para luego hacer un algoritmo mas potente producto de la union de los simples

Bagging: «El principal objetivo intrínseco de los algoritmos de bagging es el de la reducción de la varianza». Los algoritmos son utilizados en paralelo. Random Forest es un ejemplo de estos.

Boosting: «El principal objetivo de los algoritmos de boosting es el de la reducción del sesgo». Los modelos simples son utilizados secuencialmente.

La diferencia con el bagging es que en el boosting los algoritmos no se entrenan independientemente, sino que se ponderan según los errores de los anteriores.]]> 2021-11-13 00:30:22 UTC https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887663671 Modelos https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887665738 Una forma de mejorar un modelo predictivo es usando la técnica creada por Leo Breiman que denominó Bagging (o Bootstrap Aggregating). Esta técnica consiste en crear diferentes modelos usando muestras aleatorias con reemplazo y luego combinar o ensamblar los resultados.

La técnica de Bagging sigue estos pasos:
1. Divide el set de Entrenamiento en distintos sub set de datos, obteniendo como resultado diferentes muestras aleatorias con las siguientes características:
   - Muestra uniforme (misma cantidad de individuos en cada set)
   - Muestras con reemplazo (los individuos pueden repetirse en el mismo set de datos).
   - El tamaño de la muestra es igual al tamaño del set de entrenamiento, pero no contiene a todos los individuos ya que algunos se repiten.
   - Si se usan muestras sin reemplazo, suele elegirse el 50% de los datos como tamaño de muestra
2. Luego se crea un modelo predictivo con cada set, obteniendo modelos diferentes
3. Luego se construye o ensambla un único modelo predictivo, que es el promedio de todos los modelos.

-------------------------------------

Boosting es otra estrategia de ensemble que se puede emplear con un amplio grupo de métodos de statistical learning, entre ellos los árboles de decisión. La idea detrás del boosting es ajustar, de forma secuencial, múltiples weak learners (modelos sencillos que predicen solo ligeramente mejor que lo esperado por azar). Cada nuevo modelo emplea información del modelo anterior para aprender de sus errores, mejorando iteración a iteración. En el caso de los árboles de predicción, un weak learners se consigue utilizando árboles con muy pocas ramificaciones. A diferencia del método de bagging (random forest), el boosting no hace uso de muestreo repetido (bootstrapping), la diferencia entre los árboles que forman el ensemble se origina por que la importancia (peso) de las observaciones va cambiando en cada iteración.

Tres de los algoritmos de boosting más empleados son AdaBoost, Gradient Boosting y Stochastic Gradient Boosting. Todos ellos se caracterizan por tener una cantidad considerable de hiperparámetros, cuyo valor óptimo se tiene que identificar mediante validación cruzada. Tres de los más importantes son:

  • El número de weak learners o número de iteraciones: a diferencia del bagging y random forest, el boosting puede sufrir overfitting si este valor es excesivamente alto. Para evitarlo, se emplea un término de regularización conocido como learning rate.

  • Learning rate: controla la influencia que tiene cada weak learner en el conjunto del ensemble, es decir, el ritmo al que aprende el modelo. Suelen recomendarse valores de 0.001 o 0.01, aunque la elección correcta puede variar dependiendo del problema. Cuanto menor sea su valor, más árboles se necesitan para alcanzar buenos resultados pero menor es el riesgo de overfitting.

  • Si los weak learners son árboles, el tamaño máximo permitido de cada árbol. Suelen emplearse valores pequeños, entre 1 y 10.





]]> 2021-11-13 00:33:11 UTC https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887665738 Boosting https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887667607 El boosting consiste en combinar los resultados de varios clasificadores débiles para obtener un clasificador robusto. Cuando se añaden estos clasificadores débiles, se lo hace de modo que estos tengan diferente peso en función de la exactitud de sus predicciones. Luego de que se añade un clasificador débil, los datos cambian su estructura de pesos: los casos que son mal clasificados ganan peso y los que son clasificados correctamente pierden peso. Así, los clasificadores débiles se centran de mayor manera en los casos que fueron mal clasificados por los clasificadores débiles.
Las variaciones del mismo se dan en los metodos de ponderacion de los puntos y las hipotesis]]> 2021-11-13 00:35:41 UTC https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887667607 Bagging https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887669705 O empaquetado, es un metaalgoritmo de aprendizaje automático diseñado para mejorar la estabilidad y precisión de algoritmos de aprendizaje automático usados en clasificación estadística y regresión. Además reduce la varianza y ayuda a evitar el sobreajuste. Aunque es usualmente aplicado a métodos de árboles de decisión, puede ser usado con cualquier tipo de método. El empaquetado es un caso especial del promediado de modelos.]]> 2021-11-13 00:38:42 UTC https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887669705 Metodos de Emsable https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887671255 Los métodos de ensamble de modelos o métodos combinados intentan ayudar a mejorar el rendimiento de los modelos de Machine Learning al mejorar su precisión. Este es un proceso mediante el cual se construyen estratégicamente varios modelos de Machine Learning para resolver un problema particula]]> 2021-11-13 00:40:55 UTC https://padlet.com/laylascheli/u63xkk42wm5hvs8x/wish/1887671255