Инструмент спросил 14 LLM, кто вы. Большинство придумали несуществующего человека

Имя входит — выходит чужак

Show HN «Are You in the Weights?» делает одно: вы вводите имя, и инструмент опрашивает стек больших языковых моделей (от крошечной Llama 3.2 1B до GPT-5.5, Gemini, DeepSeek, Kimi и других), спрашивая каждую, кто этот человек. Затем оценивается, насколько имя «вшито» в веса: жёлтый балл силы и рейтинг Top N%, а галлюцинации помечаются отдельно. Пиксельные портреты и ретро-стилистика стали фаворитами треда. Содержимое под ними оказалось менее лестным.

Биографии в основном выдуманные — даже для уникальных имён

Паттерн, проявившийся почти в 200 комментариях: инструмент — генератор галлюцинаций, замаскированный под тест памяти. Люди с единственным в своём роде именем (которых легко опознать или честно сказать «не знаю») вместо этого получали уверенную выдумку.

«Насколько я знаю, я единственный человек с моим именем в мире… этот инструмент называет меня, например, правым политиком, журналистом и исследователем солнечного топлива.» — инженер, единственный в мире носитель своего имени

«Llama 3.2 1B говорит: американский актёр, известный ролями в «Большом Лебовски» и «Большом Лебовски 2». В яблочко! /s» — пользователь, проверивший себя

Дальше — тяжелее: французский посол в Конго, «видный активист белого национализма», участник взрывов в Мадриде в 2004 году. Модель с миллиардом параметров переписала биографию Моцарта с неверными датами. Один ответ точно назвал природу сбоя:

«Даже ведущие модели всё ещё активно галлюцинируют, особенно когда не могут поискать дополнительный контекст. Они взяли разные вещи из моей работы, перемешали и добавили чистую выдумку…» — разработчик с 22k+ кармы, чью работу исказили

Кого модели помнят по-настоящему

Попадания концентрировались в одном месте: люди, чей ник и тексты лежат в открытых корпусах, на которых тренировались модели. jedberg, бывший инженер Reddit и Netflix, попал в топ-5% и большинство моделей опознало его верно (одна всё равно настаивала, что он VP в Datadog). Давний контрибьютор опенсорса отметил эффект пузыря: «мир опенсорса — это пузырь в отношении весов». Kimi и DeepSeek лучше прочих улавливают тексты с Medium и блогов. Балл измеряет присутствие в корпусе, а не известность, и уж точно не точность.

Лидерборд, к которому вы присоединились, сами не зная

Главный разворот не о точности. А то, что сайт делает с именами.

«ПРЕДУПРЕЖДЕНИЕ О ПРИВАТНОСТИ: каждое введённое имя попадает в публичный список «latest», который листается бесконечно.» — комментатор, обнаруживший публичный лидерборд

Дальше: политики конфиденциальности нет, неожиданно много трекинг-куков для игрушки, и лаконичный вердикт: «Только дурак введёт сюда своё имя». Некоторые прочли это как умный сбор настоящих имён по IP-адресам.

Вопрос под шуткой

Большинство пришли за проверкой эго, получили свой балл и посмеялись над нелепыми ошибками. Но один комментарий, оставленный почти вскользь, стоит запомнить: если ваша история на Reddit и старые посты в блоге явно попали в обучающие данные без согласия, так и уверенная ложь модели о вас тоже стала постоянной. Как Эван Таллер, работающий с ИИ-инструментами в Arcade.dev, написал после того, как убедился, что попал в веса: «Итак… что это означает для права быть забытым?» Инструмент отвечает на забавный вопрос и случайно поднимает серьёзный: можно одновременно быть запомненным и неверно описанным, без возможности исправить ни то ни другое.