Что система знает о себе
Каждый круг оставляет строку: когда, какой моделью, сколько игр и прогнозов и какая была точность. Здесь же — измерение модели, измерение рынка на тех же матчах и открытый счёт промахов.
Brier — средний квадрат разницы между вероятностью и исходом; у монетки он равен 0.2500. Всё, что ниже, — знание, а не угадывание. Измерение на истории — это проверка модели на прошлом; на опубликованных прогнозах сверено 7. Отдельная строка — рынок: те же матчи, но вероятности из котировок букмекеров без маржи. Это планка, которую система обязана обыгрывать: если модель проигрывает рынку, её числа ничего не стоят.
Как это читать
- Разница между монеткой (0.2500) и моделью — и есть знание. Чем больше отрыв, тем полезнее модель; отрицательный отрыв означает, что модель хуже монетки, и это повод откатывать изменение, а не прятать.
- Метрика на истории — проверка на прошлом, которое модель видела. Настоящая проверка — на опубликованных прогнозах: сейчас сверено 7 (Brier 0.2234, accuracy 0.571).
- Рядом стоит рынок — планка на тех же матчах: Brier рынка 0.0292 на 2 матчах. Модель обязана быть не хуже.
- Один исход ничего не доказывает: на одном матче и монетка выигрывает. Значимые выводы начинаются на десятках сверенных прогнозов.
Правило улучшений
Меняется ровно одна вещь, у модели появляется новое имя, круг прогоняется заново и Brier сравнивается с базовой линией. Лучше — оставить, хуже или в пределах шума — откатить. Изменение без записи в журнале не существует: иначе не отличить рост от случайной удачи.