Backtesting
Backtesting es un término que se usa en modelado para referirse a probar un modelo predictivo utilizando datos históricos. El backtesting es un tipo de retrodicción y un tipo especial de validación cruzada aplicada a períodos de tiempo anteriores.
Análisis financiero
editarEn una estrategia comercial, una estrategia de inversión o un modelo de riesgo, el backtesting busca estimar el desempeño de una estrategia o modelo si se hubiera empleado durante un período anterior. Esto requiere simular condiciones pasadas con suficiente detalle, lo que hace que una limitación del backtesting sea la necesidad de disponer de datos históricos detallados. Una segunda limitación es la incapacidad de modelar estrategias que afectarían los precios históricos. Finalmente, el backtesting, al igual que otros modelos, está limitado por un posible sobreajuste. Es decir, a menudo es posible encontrar una estrategia que hubiera funcionado bien en el pasado, pero que no necesariamente funcionará bien en el futuro.[1] A pesar de estas limitaciones, el backtesting proporciona información que no está disponible cuando los modelos y estrategias se prueban con datos sintéticos.
Históricamente, el backtesting solo ha sido realizado por grandes instituciones y administradores de dinero profesionales debido al costo de obtener y usar conjuntos de datos detallados. Sin embargo, el backtrading se utiliza cada vez más de manera amplia y han surgido plataformas independientes de backtesting basadas en la web. Aunque la técnica se usa ampliamente, es propensa a debilidades. Las regulaciones financieras de Basilea requieren que las grandes instituciones financieras realicen backtesting de ciertos modelos de riesgo.
Para un valor en riesgo de 1 día al 99% comprobado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99.99%) o roja (99,99-100%), según la siguiente tabla:[2]
| Zona | Excepciones numéricas | Probabilidad | Cumul |
|---|---|---|---|
| Verde | 0 | 8.11% | 8.11% |
| 1 | 20.47% | 28.58% | |
| 2 | 25.74% | 54.32% | |
| 3 | 21.49% | 75.81% | |
| 4 | 13.41% | 89.22% | |
| Naranja | 5 | 6.66% | 95.88% |
| 6 | 2.75% | 98.63% | |
| 7 | 0.97% | 99.60% | |
| 8 | 0.30% | 99.89% | |
| 9 | 0.08% | 99.97% | |
| Rojo | 10 | 0.02% | 99.99% |
| 11 | 0.00% | 100.00% | |
| ... | ... | ... |
Para un valor en riesgo de 10 días al 99% comprobado 250 días seguidos, la prueba se considera verde (0-95%), naranja (95-99.99%) o roja (99.99-100%) según la siguiente tabla:
| Zona | Excepciones numéricas | Probabilidad | Cumul |
|---|---|---|---|
| Verde | 0 | 36.02% | 36.02% |
| 1 | 15.99% | 52.01% | |
| 2 | 11.58% | 63.59% | |
| 3 | 8.90% | 72.49% | |
| 4 | 6.96% | 79.44% | |
| 5 | 5.33% | 84.78% | |
| 6 | 4.07% | 88.85% | |
| 7 | 3.05% | 79.44% | |
| 8 | 2.28% | 94.17% | |
| Naranja | 9 | 1.74% | 95.91% |
| ... | ... | ... | |
| 24 | 0.01% | 99.99% | |
| Rojo | 25 | 0.00% | 99.99% |
| ... | ... | ... |
Hindcast
editar
En oceanografía[4] y meteorología,[5] el backtesting también se conoce como hindcasting: un hindcast es una forma de probar un modelo matemático; los investigadores ingresan en el modelo entradas conocidas o estimadas para eventos pasados y así analizar qué tan bien la salida coincide con los resultados conocidos.
El hindcasting generalmente se refiere a la integración de un modelo numérico de un período histórico del cual no existe registro de observaciones. Esto distingue una ejecución retrospectiva de un reanálisis. Las observaciones oceanográficas de salinidad y temperatura, así como las observaciones de los parámetros de las olas, como la altura significativa de las olas, son mucho más escasas que las observaciones meteorológicas, lo que hace que la predicción posterior sea más común en la oceanografía que en la meteorología. Además, dado que las ola superficiales representan un sistema forzado en el que el viento es la única fuerza generadora, el pronóstico de las olas se considera a menudo adecuado para generar una representación razonable del clima de las olas con poca necesidad de un nuevo análisis completo. Los hidrólogos utilizan la predicción retrospectiva para los flujos de modelos de arroyos.[6]
Un ejemplo de análisis retrospectivo sería introducir forzamientos climáticos (eventos que fuerzan el cambio) en un modelo climático. Si la retrospectiva mostrara una respuesta climática razonablemente precisa, el modelo se consideraría exitoso.
El reanálisis del ECMWF es un ejemplo de un reanálisis atmosférico combinado junto con una integración de modelo de ola donde no se asimilaron parámetros de ola, lo que hace que la parte de ola sea una ejecución retrospectiva.
Resultados inesperados de la aplicación
editarEn 2003, Dake Chen y sus colegas "entrenaron" inicialmente una computadora, utilizando los datos de la temperatura de la superficie de los océanos de los últimos 20 años.[7]
Luego, después de haber "entrenado" la computadora, realizaron un ejercicio de predicción retrospectiva utilizando datos que se habían recopilado sobre la temperatura de la superficie de los océanos durante el período de 1857 a 2003. No solo descubrieron que su simulación predijo con precisión todos los eventos de El Niño durante los últimos 148 años, sino que también descubrieron, como una "consecuencia no buscada" de ese ejercicio, que su simulación también identificó el presagio que se avecina (hasta 2 años) de cada uno de esos eventos de El Niño.[8]
Véase también
editarReferencias
editar- ↑ BacktestBroker. «Does Backtesting Really Work?». Archivado desde el original el 23 de octubre de 2020. Consultado el 31 de octubre de 2020.
- ↑ «Supervisory framework for the use of "backtesting" in conjunction with the internal models approach to market risk capital requirements». Basle Committee on Banking Supervision. January 1996. p. 14.
- ↑ Taken from p.145 of Yeates, L.B., Thought Experimentation: A Cognitive Approach, Graduate Diploma in Arts (By Research) dissertation, University of New South Wales, 2004.
- ↑ «Hindcast approach». OceanWeather Inc. Consultado el 22 de enero de 2013.
- ↑ Huijnen, V.; J. Flemming; J. W. Kaiser; A. Inness; J. Leitão; A. Heil; H. J. Eskes; M. G. Schultz; A. Benedetti; J. Hadji-Lazaro; G. Dufour; M. Eremenko (2012). «Hindcast experiments of tropospheric composition during the summer 2010 fires over western Russia». Atmos. Chem. Phys. 12 (9): 4341-4364. Bibcode:2012ACP....12.4341H. doi:10.5194/acp-12-4341-2012. Consultado el 22 de enero de 2013.
- ↑ «Guidance on Conducting Streamflow Hindcasting in CHPS». NOAA. Consultado el 22 de enero de 2013.
- ↑ Chen, D., Cane, M.A., Kaplan, A., Zebiak, S.E. & Huang, D., "Predictability of El Niño Over the Past 148 Years", Nature, Vol.428, No.6984, (15 April 2004), pp.733-736; Anderson, D., "Testing Time for El Niño", Nature, Vol.428, No.6984, (15 April 2004), pp.709, 711.
- ↑ Not only did hindcasting demonstrate that the computerized simulation models could predict the onset of El Niño climatic events from changes in the temperature of the ocean's surface temperature that occur up to two years earlier — meaning that there was now, potentially, at least 2 years' lead time — but the results also implied that El Niño events seemed to be the effects of some causal regularity; and, therefore, were not due to simple chance, or to some other "chaotic" event.
Datos: Q798528
