Робот Xiaomi складывает бельё — его обучали как языковую модель
Видео двурукого робота Xiaomi, который складывает рубашки, застёгивает чемодан и загружает стиральную машину, разошлось по Hacker News на этой неделе. Компания утверждает, что XR-1 обучили так же, как большие языковые модели: гигантский претрейн, а затем файнтюнинг — на этот раз на 100 000 часов видео с нашлемной камеры и 7200 часах реальных демонстраций робота.
XR-1 обходит все модели-конкуренты, с которыми его сравнила Xiaomi, на четырёх бенчмарках манипуляции — RoboCasa, RoboCasa365, VLABench и RoboDojo. Компания заявляет, что точность растёт с объёмом данных так же предсказуемо, как у языковой модели.
Разработчики, которые пошли искать обещанный открытый код, нашли только остатки от предыдущей модели Xiaomi: репозитории XR-1 на GitHub и Hugging Face оказались пустыми.
Xiaomi обучает роботов так же, как все обучают языковые модели
Робототехническое подразделение Xiaomi представило XR-1 16 июля, описав пайплайн обучения, почти дословно позаимствованный из разработки языковых моделей. Этап претрейна идёт на 100 000 часов «бестелесных» траекторий — видео, снятого ручной установкой с захватом (UMI), а не настоящей рукой робота, в более чем 1700 сценариях: дома, склады, магазины, улица. Модель, объединяющая зрение и язык, автоматически размечает переходы состояний в этих кадрах — точно так же, как пайплайны для LLM автоматически размечают веб-тексты. Только после этого модель впервые видит настоящего робота: этап дообучения добавляет свыше 7200 часов телеуправляемых демонстраций, записанных в реальных домах, отфильтрованных и смешанных с открытыми датасетами по робототехнике, — чтобы научить модель выполнять команды на конкретном железе Xiaomi.
Главное заявление Xiaomi: обучение масштабируется так же, как у языковых моделей — ошибка валидации падает стабильно и предсказуемо по мере роста данных и размера модели на этапе претрейна, и этот выигрыш переносится в реальную манипуляцию объектами после дообучения.
Четыре бенчмарка — и XR-1 первая во всех
| Бенчмарк | XR-1 | Отрыв от второго места |
|---|---|---|
| RoboCasa | 74,5% | +2,6 п.п. |
| RoboCasa365 | 57,4% | +23,2 п.п. |
| VLABench | 59,1% | +11,1 п.п. |
| RoboDojo | 13,93% | +58,3% (относительно) |
Настоящий робототехник из треда: это правда сложно, а не фокус
Обсуждение почти сразу разделилось на впечатлённых видео и уверенных, что кадры подобраны. Сооснователь стартапа для оценки LLM оказался во втором лагере:
«Видео режется на новый план каждые пару секунд вместо одного непрерывного дубля, как во всей остальной робототехнике. Из-за этого сложно доверять. Робот наверняка провалил миллион попыток, и видео склеили из сотни экспериментов» — resiros, сооснователь agenta.ai
Комментатор, в чьём био значатся машинное обучение, робототехника и нейронаука, возразил списком того, что кадры требуют на самом деле, независимо от монтажа:
«Координация двух рук, подвижное тело, деформируемые объекты, тонкие точки захвата (особенно молния на сумке), захват нескольких объектов одной хваткой... целый набор вещей, которые раньше решались по отдельности как задачи восприятия или манипуляции и, вероятно, тянули не на одну диссертацию здесь, на HN» — комментатор, чьё био охватывает робототехнику, обучение с подкреплением и нейронауку
Заявление об открытом коде, который пока не открыт
Страница Xiaomi ссылается на GitHub и Hugging Face за кодом и весами. Один разработчик правда сходил и проверил:
«Ни в GitHub, ни в HF-репозиториях нет ничего про модель или датасеты XiaomiRobotics-1 :-( Там куча ассетов... но для XiaomiRobotics-0» — комментатор, лично проверивший репозитории Xiaomi на GitHub и Hugging Face
Этот разрыв между анонсом и реальным содержимым репозитория — разница между «вот наша модель» и «вот наша модель, когда-нибудь». Для компании, чья убедительность в этом заявлении держится целиком на воспроизводимости, пустой репозиторий подрывает питч сильнее, чем если бы обещания вообще не было.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Отпечатки пальцев уже пересекают Атлантику при каждом вашем перелёте в США
Правозащитная организация EDRi предупреждает: новый пакт ЕС-США — Enhanced Border Security Partnership — даст Вашингтону прямой доступ к биометрическим профилям европейцев в обмен на безвизовый режим. Предупреждение упускает главное: у любого, кто хоть раз приземлялся в аэропорту США, отпечатки пальцев и фото уже сняли и сверили с федеральной базой — сделка тут ни при чём.