Los programas que generan estrategias de trading compiten por una cifra: cuántas son capaces de construir. Cientos de miles por hora, millones por noche. Y en la pantalla, al final, una lista de candidatas con curvas preciosas, profit factor de 2 y beneficios de seis cifras.
Hay una pregunta que casi nadie se hace: ¿qué encontraría ese mismo programa si le diéramos datos en los que no hay nada que encontrar?
Lo hemos probado con el nuestro. El resultado nos ha incomodado, y por eso lo contamos.
La trampa: con suficientes intentos, el azar siempre gana
Si lanzas una moneda diez veces, sacar diez caras es muy raro. Si lo intentan un millón de personas, unas mil lo conseguirán. Ninguna tiene un don: simplemente, han sido muchas.
Un generador de estrategias hace exactamente eso. Combina indicadores, umbrales, salidas y filtros, y prueba millones de combinaciones sobre el mismo histórico. Algunas saldrán ganadoras porque sí: han encajado por casualidad con los altibajos de ese periodo concreto. En la jerga se llama sobreajuste, y es el motivo por el que tantas estrategias brillantes en el backtest se hunden en cuanto se ponen a operar.
Todo el mundo lo sabe. Lo que casi nadie hace es medirlo.
El experimento: un ES en el que no hay nada que ganar
Para medirlo necesitábamos un grupo de control: un mercado que se pareciera al de verdad en todo, menos en una cosa. Que fuera imposible predecirlo.
Lo construimos a partir del futuro del S&P 500 (el ES), con sus barras diarias reales desde el año 2000:
- Cada día conserva su forma real: cuánto abrió, subió, bajó y cerró respecto al día anterior.
- Pero los días se barajan al azar. Desaparecen las tendencias, las rachas, los ciclos y cualquier patrón que pudiera aprovecharse.
- Y quitamos la subida media del índice, para que «comprar y quedarse dentro» no gane por la simple deriva alcista del mercado. La serie termina exactamente donde empezó.
| ES real | ES inventado | |
|---|---|---|
| Movimiento diario típico (volatilidad) | 0,84 % | 0,84 % |
| Memoria de un día al siguiente | −0,08 | 0,00 |
| Rachas de calma y de pánico | 0,28 | 0,00 |
| Precio al principio → al final | 2.326 → 7.836 | 2.326 → 2.326 |
Se mueve igual de fuerte que el ES, día a día. Pero no contiene nada, absolutamente nada, que se pueda anticipar. Cualquier estrategia que gane aquí lo hace por suerte.
Mismo programa, mismo esfuerzo
Usamos AQ Génesis, el motor de búsqueda autónoma de AniQuant, con la misma configuración en las dos series: solo largos, la misma semilla, 30 minutos de búsqueda, comisión de 3 $ y un tick de deslizamiento por ejecución.
El 70 % del histórico (2000-2018) era para buscar. El 30 % restante (2018-2026) quedó guardado bajo llave: Génesis no lo vio en ningún momento.
Y por el camino, cada candidata tenía que superar una muralla de siete filtros: que no fuera casi un clon de otra, un mínimo de operaciones, profit factor mínimo, ventaja frente a comprar y mantener, probabilidad de sobreajuste (PBO), Walk-Forward y un test de supervivencia que la somete a cambios de parámetros, de costes y de periodo. Son filtros serios: los mismos que recomienda la literatura académica.
En las dos series, los filtros descartaron alrededor del 93 % de lo generado. Y en las dos, cien estrategias lo superaron todo.
Las cien del azar parecen tan buenas como las de verdad
Esta es la parte incómoda. Si comparas las cien estrategias selladas en el ES inventado con las cien del ES real, en el periodo de búsqueda son prácticamente indistinguibles:
De hecho, las del azar ganaban más: 91.052 $ de mediana frente a 58.911 $. Su nota de confianza iba de 83 a 92 sobre 100. Su probabilidad de sobreajuste era la misma. Pasaban el Walk-Forward igual de bien.
¿Cómo puede ganar más el azar que un mercado que sube? Por dos razones. En el ES real, Génesis exige batir a comprar y mantener, y eso descartó 1.782 estrategias que solo cabalgaban la tendencia; en el inventado no había tendencia que batir, y solo cayeron 27. Y lo que queda es lo mejor de 17 millones de intentos: en datos inventados, eso es suerte pura, y la mejor suerte entre 17 millones es mucha. Que brillen más es justo la señal de alarma.
La mejor de ellas, encontrada en datos inventados, decía así: comprar cuando, hace diez días, la vela tenía un cuerpo moderado y el precio estaba en el 20 % más bajo de su rango de tres semanas; objetivo del 4 % y stop del 1 %. Suena razonable: comprar barato tras una pausa. Tiene 216 operaciones, 93.000 $ de beneficio y una confianza de 91,9. Cualquiera la pondría a operar.
La única prueba que no se dejó engañar
Entonces abrimos el cajón: los ocho años que ninguna estrategia había visto.
Las cien del ES inventado se comportaron como lo que eran: monedas al aire. Su profit factor típico fue de 1,05. Ganaron 62 y perdieron 38, sin ningún patrón. Ninguna sabía nada.
Las cien del ES real ganaron dinero en 99 casos de 100, con un profit factor típico de 1,65.
El periodo reservado hizo en un minuto lo que no habían conseguido diecisiete millones de backtests y siete filtros: separar la suerte de lo que puede ser una ventaja.
Pero ojo: tampoco las reales están demostradas
Sería fácil cerrar aquí con un «las nuestras funcionan». No sería honesto.
Esos ocho años fueron muy alcistas para el S&P 500. Comprar y mantener habría ganado 163.401 $, el doble que la estrategia típica del ES real (80.969 $). Una estrategia que solo compra tiene el viento a favor en un mercado que sube, y «99 de 100 positivas» se explica en parte por eso. Que superen el periodo reservado es una condición necesaria, no una prueba de que vayan a seguir funcionando.
Qué hacer con tus estrategias
Uses el programa que uses, el experimento deja cinco lecciones:
- Guarda un periodo bajo llave y no lo mires hasta el final. Si lo usas para elegir, deja de ser un periodo reservado.
- Haz un grupo de control. Repite la búsqueda sobre el mismo mercado barajado. Si allí encuentras estrategias igual de bonitas, las de verdad no prueban nada por sí solas.
- Cuenta los intentos. No es lo mismo una estrategia elegida entre diez que entre setenta mil. Métricas como el Sharpe deflactado corrigen justo eso.
- Compárate siempre con comprar y mantener en el mismo periodo. Ganar dinero en un mercado que sube no tiene mérito.
- Desconfía de la cifra de estrategias generadas. Generar millones no es una ventaja: es la forma más rápida de encontrar casualidades.
Lo que hemos hecho en AniQuant
Este experimento nos llevó a crear AQ Market Shuffle: con un clic genera la versión barajada de cualquier mercado, y puedes pasarla por Génesis, el Laboratorio o cualquier otro módulo con el mismo esfuerzo. Si allí encuentras estrategias igual de bonitas, ya sabes cuánto vale lo que encontraste en el mercado real.
No lo contamos para vender nada. Lo contamos porque, sin ese control, cualquier estrategia generada automáticamente es sospechosa. También las nuestras.
La próxima vez que un generador te enseñe una lista de estrategias espectaculares, hazte una sola pregunta: ¿cuántas habría encontrado en datos inventados?
¿Quieres hacer tus backtests sin este sesgo?
AniQuant trabaja con universos que incluyen las empresas que desaparecieron. Pruébalo gratis 14 días.
Descargar AniQuantFundador de AniSoft (software desde 1995) y creador de AniQuant. Escribe sobre backtesting honesto, validación de estrategias y los errores que cuestan dinero.