Что показывает backtest
Backtest прогоняет заранее описанное правило по уже известной последовательности тиражей. Он полезен для проверки вычислений, поиска грубых ошибок и сравнения вариантов при одинаковых условиях.
Проблема появляется, когда правило многократно меняют, ориентируясь на тот же архив. Параметры постепенно подстраиваются не только под устойчивые свойства, но и под случайный шум конкретного периода.
- Какие данные использовались для настройки?
- Был ли отдельный проверочный период?
- Сколько вариантов перебрали до публикации лучшего?
Почему результат может быть слишком красивым
Если протестировать тысячу бессмысленных правил, несколько из них почти наверняка покажут хороший исторический результат. Выбор победителя после просмотра всех итогов создаёт смещение отбора.
Ещё одна ловушка — утечка будущего: расчёт для старой даты случайно использует сведения, которые тогда ещё не были доступны. Даже небольшая утечка делает тест нереалистичным.
Что добавляет LIVE-протокол
В LIVE-тесте комбинация, время и версия модели фиксируются до тиража. После события запись дополняется результатом, но исходный прогноз не меняется. Это снижает риск задним числом выбрать удобный вариант.
LIVE-серия не обязана сразу подтвердить или опровергнуть модель: редкие события требуют большого числа наблюдений. Её преимущество — честная временная последовательность и возможность увидеть все результаты, а не только лучшие.
- Неизменяемая дата публикации.
- Версия модели и параметры.
- Полный список прогнозов и результатов.
- Отдельная маркировка экспериментальных вариантов.
Как объединять оба подхода
Исторический архив нужен для разработки, а LIVE — для последующей проверки. Хороший процесс делит данные на обучение, валидацию и финальный тест, после чего замораживает правило для серии будущих событий.
Если правило меняется, начинается новая версия и новая LIVE-серия. Старые результаты не удаляются и не смешиваются с новой методикой. Такой порядок не гарантирует успех, но делает вывод проверяемым.