Как проверить стратегию ставок, если первые результаты уже в плюсе? Нужно выяснить, откуда этот плюс появился: из воспроизводимого преимущества, удачного порядка исходов или отбора красивых примеров. История «я попробовал десять раз и выиграл семь» не отвечает на этот вопрос. Даже большой список ставок можно проверить неправильно, если правила придуманы после просмотра результатов.
Ниже составим протокол проверки от записи гипотезы до новой выборки. Разберём доступность коэффициентов, расчёт ROI, размер выборки и причины ложного успеха. В середине есть калькулятор: он покажет, почему учебные 56 побед из 100 при коэффициенте 1.9 дают прибыль, но ещё не подтверждают устойчивое преимущество.
Шаг 1. Превратите идею в проверяемые правила
«Ставить на недооценённых андердогов» недостаточно. Два человека выберут разные события и оба решат, что следуют одной стратегии. Запишите спорт, лигу, рынок, момент выбора, диапазон коэффициентов, способ оценки исхода и основание отказа. Правила должны позволять воспроизвести решение до того, как станет известен результат.
Пример учебной гипотезы: прематчевые тоталы основного времени одной баскетбольной лиги; статистика берётся из заданного источника на определённый момент; модель темпа и эффективности фиксирована; выбор допускается только при выполнении заранее записанного условия. Порог и диапазон коэффициентов здесь нужно выбрать до проверки, а не перебирать до появления самого красивого ROI.
Отдельно назначьте размер ставки и правила совокупного риска. Для первого анализа качества прогнозов удобно пересчитывать результаты одинаковой единицей: так удвоение после проигрыша не маскирует слабый отбор событий. Затем можно отдельно проверить управление банком на той же истории. Пример такого сравнения есть в статье про семь систем ставок.
Шаг 2. Соберите данные, которые были доступны тогда
Историческая проверка должна воспроизводить реальное решение. Для каждого события нужны не только финальный счёт и коэффициент, но и время, к которому относятся входные данные. Нельзя использовать состав, объявленный после предполагаемой ставки, или статистику сезона, уже включающую проверяемый матч.
Простой пример ошибки: вы выбираете команды по их итоговому рейтингу за сезон, а затем проверяете ставки с начала того же сезона. Итоговый рейтинг уже содержит результаты, которых в начале сезона никто не знал. Полученный плюс частично объясняется информацией из будущего, даже если формула отбора кажется разумной.
С коэффициентами действует то же правило. Зафиксируйте источник, время и доступность цены. Максимальный коэффициент среди всех контор за весь день может оказаться недоступным в момент вашего решения. Если нет истории реальных котировок, обозначьте ограничение: проверка на условной цене изучает гипотезу, но не доказывает, что её можно было исполнить.
Сохраняйте исключённые наблюдения и причины. Отсутствующий коэффициент, перенос события и неопределённый расчёт рынка нельзя молча удалить только потому, что они портят итог. В журнале полезны отдельные колонки для исходных данных, решения, результата и примечаний. Свободный комментарий помогает восстановить контекст, но не заменяет одинаковый порядок записи.
Шаг 3. Отделите настройку от проверки
Разделите историю по времени. На раннем периоде исследуйте идею и настройте параметры, на следующем проверьте выбранную версию. Последний период оставьте для итоговой проверки, пока не закончили настройку. Если снова меняете правила после просмотра этого периода, он перестаёт быть независимой проверкой.
Принцип обучения на прошлом и проверки на более поздних наблюдениях описан в документации scikit-learn о временном разделении. Для ставок переносим именно этот принцип. Случайное перемешивание событий может позволить будущим данным влиять на решения, которые в реальной жизни пришлось бы принять раньше.
Например, первые восемь месяцев используются для исследования, следующие два для выбора версии, последние два для проверки. Эти сроки иллюстративны, а не обязательны: подходящий период зависит от числа событий, сезонности и изменения составов. Разделение не должно разрывать одну группу зависимых ставок между настройкой и проверкой, иначе часть одной ситуации окажется по обе стороны границы.
Более длительная проверка может идти последовательно: настроили на прошлом, проверили на следующем отрезке, затем сдвинули окно. Заранее определите, как часто обновляются параметры. Иначе каждый неудачный отрезок будет поводом переписать модель, а каждый удачный объявить подтверждением. В отчёте сохраняйте результаты всех отрезков, включая отрицательные.
Шаг 4. Посчитайте прибыль, оборот и риск отдельно
Для обычного ординара без возврата чистая прибыль победы равна сумме × (коэффициент − 1), поражения: минус сумма. Складывайте именно чистые результаты, а не выплаты вместе с возвращённой ставкой. ROI равен общей прибыли, делённой на оборот ставок в выбранном протоколе, и умноженной на 100%.
В учебном примере 100 ставок по 200 ₽ с одинаковым коэффициентом 1.9. Каждая из 56 побед приносит 180 ₽, каждое из 44 поражений отнимает 200 ₽. Прибыль равна 56 × 180 − 44 × 200 = 1 280 ₽, оборот 20 000 ₽, ROI +6.4%. Называть выплату по выигрышным купонам прибылью было бы существенной ошибкой.
Для винрейта отдельно считайте победы и поражения; возвраты не становятся выигрышами. Возвращённая сумма не создаёт прибыль. Укажите, включаете ли возвраты в знаменатель ROI: разные сервисы и отчёты могут использовать разные соглашения. Частичные расчёты, фрибеты и досрочные закрытия требуют собственных правил, их нельзя незаметно смешать с этим простым бинарным примером.
Добавьте максимальную просадку и сумму одновременно открытых рисков. Пятьдесят шесть побед не описывают последовательность: длинная серия потерь могла возникнуть до восстановления. Также учитывайте расходы на данные и прогнозы отдельно от результата купонов. Если стратегия даёт 1 280 ₽, а доступ к ней стоит 2 000 ₽, итог с этим расходом равен −720 ₽.
Шаг 5. Оцените неопределённость, а не только ROI
На коэффициенте 1.9 без возвратов порог безубыточности составляет 52.63% побед. Наблюдаемые 56% выше него, однако частота побед в небольшой выборке колеблется. Чтобы показать масштаб неопределённости, рассчитаем двусторонний 95% интервал Уилсона для вероятности победы. Формула приведена в статистическом справочнике NIST.
Для 56 побед из 100 интервал составляет примерно 46.23%–65.33%. Порог 52.63% находится внутри, поэтому такой результат ещё совместим с вероятностью, при которой ставки убыточны. В переводе на ожидаемый ROI при том же коэффициенте границы составляют примерно −12.2% и +24.1%. Это не прогноз будущего ROI и не пределы возможной просадки.
Интервал опирается на предположение независимых бинарных исходов с общей вероятностью. Его нельзя понимать как «с вероятностью 95% моя стратегия прибыльна». При повторении корректного эксперимента такие интервалы должны покрывать истинный параметр примерно в 95% случаев. Отбор удачных правил и зависимость событий нарушают условия этой интерпретации.
| Ставок | 95% интервал побед | Ниже порога 52.63%? |
|---|---|---|
| 100 | 46.23%–65.33% | Да |
| 500 | 51.62%–60.29% | Да |
| 1 000 | 52.91%–59.05% | Нет |
Во всех строках доля побед ровно 56%, суммы и коэффициенты одинаковы. Это три учебных сценария, а не история накопления реальных ставок. Более крупная выборка сужает интервал, но число 1 000 не является универсальной гарантией. При другом преимуществе, неодинаковых коэффициентах, зависимых исходах или изменении условий понадобится другой анализ.
Калькулятор проверки: прибыль и границы оценки
Стартовый расчёт воспроизводит пример из статьи. Затем поставьте 1 000 ставок и 560 побед: доля побед и ROI останутся прежними, но интервал станет уже. Введите только независимые ординары с одинаковым коэффициентом и одинаковой суммой, без возвратов. Подставлять средний коэффициент разнородной истории здесь некорректно.
Что чаще всего создаёт ложный плюс
Первая причина: перебор вариантов. Вы проверили десятки лиг, диапазонов и порогов, затем показали только лучший. Даже на шуме какой-то вариант может оказаться удачным. Предварительная запись правил и отдельный финальный период уменьшают этот риск. Если смотреть финальный период после каждой поправки, защита исчезает.
Второй источник ошибки: попадание проверочных данных в настройку. Документация scikit-learn о данных и утечке информации объясняет, почему использование тестовых данных при выборе признаков делает оценку излишне оптимистичной. В ставках аналогом будет выбор «выгодных» лиг после просмотра их прибыли, а затем проверка на тех же матчах.
Третья причина: зависимость наблюдений. Тотал матча, индивидуальный тотал фаворита и его фора связаны одним игровым сценарием. Сто купонов не обязательно означают сто независимых проверок. Для более сложного анализа можно группировать результаты по матчам или дням; метод должен сохранять такую зависимость, а не считать каждый купон отдельным независимым броском монеты.
Ещё одна ловушка: остановка в удачный момент. Если ежедневно пересчитывать интервал и завершить тест при первом красивом результате, обычная оценка на фиксированной выборке перестаёт описывать процедуру. Назначьте момент итоговой оценки заранее. Предел денежных потерь может остановить участие раньше, но остановку нужно честно включить в отчёт, а не объявить тест успешным.
Шаг 6. Проведите проверку на новых событиях
После исторического анализа зафиксируйте версию правил и начните записывать подходящие события до их результата. Для первой проверки можно вести наблюдения без денежных ставок. Сохраняйте реально доступный коэффициент в момент решения: цена, найденная вечером в итоговой таблице, не воспроизводит утреннюю возможность.
Не исключайте события только потому, что уверенность после результата оказалась низкой. Если правила разрешают пропуск, основание нужно записать заранее. Если меняется способ оценки, запускайте новую версию, сохраняя прежнюю. Иначе вы получите непрерывный рассказ об удачных решениях вместо проверки конкретной гипотезы.
Сравните новые наблюдения с исторической проверкой: доступны ли те же цены, совпадает ли частота выбранных событий, сохраняется ли размер ошибки прогноза. Расхождение часто объясняется исполнением или изменением условий, а не только удачей. Баскетбольный пример входных данных разобран в статье стратегии ставок на баскетбол.
Как принять решение после проверки
Итоговый отчёт должен содержать версию правил, периоды настройки и проверки, число выбранных и исключённых событий, фактический ROI, прибыль, расходы и просадку. Добавьте ограничения данных и результаты новых наблюдений. Отрицательные отрезки важны не меньше положительных: они показывают условия, в которых гипотеза не выдержала проверку.
Если результат отрицательный или диапазон неопределённости широк, допустимый вывод: преимуществу пока нет подтверждения. Если данные устойчивее и отдельная новая выборка согласуется с гипотезой, можно продолжать исследование с заранее ограниченным риском. Даже статистически убедительное прошлое не гарантирует будущую прибыль: рынок, составы и доступные коэффициенты меняются.
Не пытайтесь компенсировать слабое доказательство ростом суммы. Хорошая проверка оставляет понятный след: какое правило применялось, какая цена была доступна и какой результат получился без пересмотра задним числом. Это даёт основание улучшать конкретную часть процесса, а не просто искать очередную систему после проигрышной серии.