Пять ИИ-ассистентов процитировали 3 167 статистик, но лишь 40% вели к подтверждающему исследованию

Где оказались 1 285 проверенных статистик

Исследование Trakkr задало каждому ассистенту 200 вопросов, на которые нужна цифра (160 бытовых и 40 известных), через API с включённым веб-поиском, 25 октября 2026 года. Получилось 1 000 ответов и 3 167 статистик. Из них 1 285 проследили вглубь до пяти страниц, сначала проверил ИИ, потом люди.

• 40% дошли до исследования, которое говорит то же самое.
• 8% дошли до исследования, но цифра или контекст изменились.
• 40% упёрлись в закрытый, пропавший или молчащий источник, а 11% не привели никуда.
• ChatGPT указал источник для 57% (1,3 статистики на ответ), Claude для 38% (6,8 на ответ).

Из 71 вопроса, где все пять назвали процент, в 28 ассистенты дали четыре или пять разных цифр. Ограничения: один день, API-ответы, а не потребительские приложения, и источники за пейволом засчитаны как непроверяемые.

«Тонко замаскированная реклама» и живой пример

Первый ответ был направлен на автора:

«Просто тонко замаскированная реклама чего-то под названием trakkr.» — комментатор, отмахнувшийся от поста

Другой согласился, что статья слабая, но проблема настоящая, и привёл пример с той же недели:

«В одном из первых анонсов php2shell (явно написанном ИИ) говорилось, что 70% сайтов используют PHP. Теперь эту цифру повторяет каждая статья о php2shell.» — комментатор, проследивший утверждение

Создатель SQLAlchemy видит навык иначе: быть «обоснованно критичным к выводу LLM» нужно и к тексту, написанному людьми (zzzeek, создатель SQLAlchemy).