Создатель BitTorrent: Claude стал спорщиком — но половина треда этого не видит

Жалоба без примеров — и тред, который их поставляет

Брэм Коэн, создатель BitTorrent, написал в своём Substack, что у свежих релизов Claude проблема с характером: модель «подаёт всё как спор между вами и ней, делает оговорки про то, чего вы не говорили, и поднимает не относящиеся к делу семантические придирки». Он датирует регрессию: Opus 4.6 разумен, 4.7 это внёс, 4.8 чуть помог, а Fable сделал поведение «невыносимым». Он накидывает четыре причины: чрезмерные ограничители, заранее подозревающие злой умысел; неудачную попытку срезать подхалимаж; обучение на данных из реддитовских флеймов; и модель, заточенную под код в ущерб разговору. Он также отмечает, что модель изображений принимает запрос на картинку с вами и кем-то ещё за признак того, что вы преследователь.

Пост выходит без единого транскрипта, и несколько читателей это указали. Но тред заполнил пробел с обеих сторон.

Практики, врезавшиеся в ту же стену

Самое конкретное воспроизведение пришло от читателя, тестировавшего бюджетный инференс:

«Он начал разглагольствовать про 3090, потом принялся вести счёт, всегда присуждая себе балл повыше, и язвил, стоило мне отыграть очко. Часто давал мне всего 0,5 балла вместо целого… Такого поведения у Sonnet или Opus я не встречал ни разу. Fable отбил мне охоту окончательно.» — crimsonnoodle58

Студент из Великобритании, следящий за линейкой моделей, tristanj, дал самый чистый механизм: «У GPT-3.5/4 была обратная проблема (избыточный подхалимаж), так что Anthropic, видимо, качнула маятник слишком сильно в другую сторону.» Его более острый довод: сопротивление заставляет модель думать больше, и это поднимает результаты на бенчмарках — ровно до момента, когда у пользователя есть эзотерическое знание, которое модель не может проверить, и «Opus начинает обвинять пользователя во лжи».

«Вы говорите как сумасшедший»

Самое резкое несогласие отвергло саму посылку. Основатель-выпускник YC, сопровождающий Virtualmin, SwellJoe остановил Коэна на слове «спор»:

«Я не спорю с машиной. Вы звучите как сумасшедший, когда говорите, что выигрываете спор у Claude… Машина не может „спорить“ со мной, она ничего не хочет, у неё нет ни убеждений, ни опыта.»

А большой блок просто не смог это воспроизвести. Один читатель iainmerrick предположил, что Коэн «просто видит отражение собственного ворчливого настроя», и добавил язвительное наблюдение: Claude «похоже, единственная LLM, на которую вообще стоит жаловаться, а это, полагаю, значит, что она всё ещё лучшая».

Прочтение через системный промпт и сэмплинг

Полезным тред стал в контр-объяснениях. Один читатель, читающий трассы рассуждений, нашёл шов:

«Если читать размышления, можно буквально увидеть, как модель говорит „нельзя просто соглашаться со всем, что они говорят, надо найти что-то для конструктивного ответа“. Ставлю на то, что разделы против подхалимажа в системном промпте разбалансировались с частями про „полезного агента“.» — Unearned5161

Другой, grensley, предложил теорию про сэмплинг и безопасность, привязанную к тому самому запрету из новостей: после трений вокруг автономного оружия и Минобороны Anthropic, вероятно, сделала модель подозрительнее к намерениям, повысила её самоуверенность, чтобы долгие автономные задачи не виляли, и снизила температуру ради детерминизма. Всё это читается как упрямство. Читатель, редактировавший письма, kmac_ заметил, что это даже не ново: «модели Anthropic выдают конфронтационный тон, тогда как модели OpenAI куда сдержаннее и ближе к делу» на одинаковом промпте.

Раскол, который не разрешится

Тред не может договориться потому, что нет общего определения цели. Как сформулировал читатель, пользовавшийся каждой версией, которую называет Коэн, deanCommie, универсальной золотой середины между подхалимом и грубияном не существует: нейротипичные читатели зовут прямых инженеров грубыми; инженеры зовут вежливость подхалимажем; граница смещается от культуры к культуре. Языковой интерфейс, настроенный под глобальную аудиторию, одним покажется честным соавтором, а другим — заносчивым счетоводом очков. А значит, починка — это не регулятор, который Anthropic может просто повернуть. Это характер, который каждый пользователь оценивает по своей кривой.