Timestral от Mistral прогнозирует временные ряды на CPU за 10–140 миллисекунд

Что такое Timestral

Анонс Mistral представляет Timestral как первое семейство базовых моделей для временных рядов компании. Модели выдают вероятностные многомерные прогнозы и умеют использовать ковариаты, известные как из прошлого, так и из будущего. Четыре модели (5 млн, 28 млн, 123 млн и 209 млн параметров) построены на одной архитектуре и одном рецепте обучения, поэтому размер модели задаёт компромисс между точностью и скоростью.

Заявленные результаты

Mistral утверждает, что модель на 209 млн параметров занимает первое место среди предобученных моделей в режиме zero-shot на GIFT-Eval, TIME и fev-bench. Это один чекпоинт без ансамблирования, и он превосходит прежний лучший результат, имея около двух третей параметров. Модель на 28 млн, по сообщениям, обходит Chronos-2 на GIFT-Eval и TIME. Все эти цифры принадлежат самой Mistral.

На серверном CPU с 8 потоками модель на 5 млн делает прогноз примерно за 10 мс, а модель на 209 млн примерно за 140 мс.

Доступность

Лицензия Modified MIT, веса на Hugging Face, код на GitHub. Организации могут дообучать модели через Mistral Forge, а развернуть их можно on-premises, в VPC или в изолированной (air-gapped) среде.

Две команды не увидели прироста, а у лицензии есть потолок в $20 млн

Один комментатор гоняет на работе около 400 тыс. моделей XGBoost, по одной на каждый ряд, с обновлением каждые 30 минут:

«Модель XGBoost на каждый временной ряд ещё никогда никем не была побита.» — комментатор, который ведёт этот парк моделей

«Она не превзошла наши базовые AutoARIMA, но у нас очень шумные ряды.» — комментатор, который запускал её на внутренних данных

Лицензия при этом уже, чем предполагает «Modified MIT». Инженер-программист, который пишет о компиляторах, назвал её ограничительной, и следом был вставлен пункт из текста:

«Вы не вправе пользоваться никакими правами по этой лицензии, если совокупная консолидированная месячная выручка вашей компании (или компании вашего работодателя) за предыдущий месяц превышает 20 миллионов долларов (или эквивалент в другой валюте).» — комментатор, который вставил этот пункт из лицензии

Поэтому сначала сверьте выручку своего работодателя с этим пунктом, а потом сравнивайте модель на 28 млн с вашим текущим базовым решением для каждого ряда.