Gradient boosting
Gradient boosting o potenciación del gradiente, es una técnica de aprendizaje automático utilizado para el análisis de la regresión y para problemas de clasificación estadística, el cual produce un modelo predictivo en forma de un conjunto de modelos de predicción débiles, típicamente árboles de decisión. Construye el modelo de forma escalonada como lo hacen otros métodos de boosting, y los generaliza permitiendo la optimización arbitraria de una función de pérdida diferenciable.
La idea de la potenciación del gradiente fue originada en la observación realizada por Leo Breiman[1] en donde el Boosting puede ser interpretado como un algoritmo de optimización en una función de coste adecuada. Posteriormente Jerome H. Friedman[2][3] desarrolló algoritmos de aumento de gradiente de regresión explícita, simultáneamente con la perspectiva más general de potenciación del gradiente funcional de Llew Mason, Jonathan Baxter, Peter Bartlett y Marcus Frean.[4][5] En sus últimos dos trabajos presentaron la visión abstracta de los algoritmos de potenciación como algoritmos iterativos de descenso de gradientes funcionales. Es decir, algoritmos que optimizan una función de coste sobre el espacio de función mediante la elección iterativa de una función (hipótesis débil) que apunta en la dirección del gradiente negativo. Esta visión de gradiente funcional de potenciación ha llevado al desarrollo de algoritmos de potenciación en muchas áreas del aprendizaje automático y estadísticas más allá de la regresión y la clasificación.
Una característica distintiva del Potenciación del Gradiente es su capacidad para manejar diferentes tipos de funciones de pérdida, lo que le permite ser adaptable a una variedad de problemas estadísticos y de aprendizaje automático. Además, la técnica emplea métodos como el "shrinkage" (reducción de la tasa de aprendizaje) y la potenciación estocástica para mejorar la precisión y prevenir el sobreajuste[6].
Uso
editarLa potenciación del gradiente puede ser utilizado en el campo de aprendizaje de clasificación. Los motores de búsqueda de web comerciales Yahoo[7] y Yandex[8] utilizan variantes de gradient boosting en sus motores de búsqueda.
Véase también
editarReferencias
editar- ↑ Breiman, L. "Arcing The Edge" (June 1997)
- ↑ Friedman, J. H. "Greedy Function Approximation: A Gradient Boosting Machine." (February 1999)
- ↑ Friedman, J. H. "Stochastic Gradient Boosting. Archivado el 1 de agosto de 2014 en Wayback Machine." (March 1999)
- ↑ Mason, L.; Baxter, J.; Bartlett, P. L.; Frean, Marcus (1999). «Boosting Algorithms as Gradient Descent». En S.A. Solla and T.K. Leen and K. Müller, ed. Advances in Neural Information Processing Systems 12. MIT Press. pp. 512-518.
- ↑ Mason, L.; Baxter, J.; Bartlett, P. L.; Frean, Marcus (16 de mayo de 1999). Boosting Algorithms as Gradient Descent in Function Space. Archivado desde el original el 22 de diciembre de 2018. Consultado el 29 de septiembre de 2017.
- ↑ https://machinelearningmastery.com/gentle-introduction-gradient-boosting-algorithm-machine-learning/
- ↑ Cossock, David and Zhang, Tong (2008). Statistical Analysis of Bayes Optimal Subset Ranking Archivado el 7 de agosto de 2010 en Wayback Machine., page 14.
- ↑ Yandex corporate blog entry about new ranking model "Snezhinsk" Archivado el 1 de marzo de 2012 en Wayback Machine. (in Russian)
Datos: Q5591907
