ИИ Google выдумал спонсора — и повторил ложь в 2 случаях из 25

Луи Россманн обнаружил, что ИИ Google уверенно называет его спонсором Ground News. Это неправда. Читатель проверил тот же запрос 25 раз: в двух случаях из 25 ложь появилась снова. Симон Уиллисон указал на главный вопрос: кто несёт ответственность.

Вкратце

Проблема не в разовой ошибке модели, а в том, что один и тот же вопрос даёт разные ответы при каждом запуске: ложный факт всплывает в доле случаев, и никакого механизма для его обнаружения или устранения нет.

Брюс Шнайер сформулировал главное: если компании смогут прикрываться «ИИ напутал», они получат щит от ответственности, которого никогда не было у живых авторов, юристов или врачей.

Уверенная, воспроизводимая, случайная ложь

Исходная жалоба конкретна: ИИ Google заявил, что правозащитник в сфере права на ремонт Луи Россманн спонсируется Ground News. Это не так. Дискуссию разожгла статистика ошибки. Один читатель задал тот же запрос 25 раз: «каждый раз ответ был разным, и в 2 случаях из 25 система заявила о спонсорстве. То есть… у Google нет никакой «фиксации» фактов». Именно недетерминированность здесь — корень проблемы. Другой читатель попробовал загуглить собственную компанию и получил «как минимум одну фактическую ошибку, причём ошибки были разными при каждом запуске». Нельзя исправить ошибку, которая появляется лишь в одном случае из двенадцати.

От раздражения к праву

Вокруг ссылки Симона Уиллисона, создателя Datasette, на статью Брюса Шнайера об ИИ и ответственности сосредоточилось главное обсуждение:

«Позволить бизнесу прятаться за отговоркой о «неисправном ИИ» — значит сделать огромный подарок корпорациям. Зачем нанимать живых авторов, юристов или врачей, если ИИ не только дешевле, но и снимает с работодателя всякую ответственность за ошибки?»

Один из участников сформулировал правовой вопрос прямо: «Может ли языковая модель оклеветать человека?.. Кого тот подаст в суд?» Когда ложь случайна и ни один человек не стоит в цепочке решений, ответственность размывается по-настоящему.

Защита, которая не работает

Позицию тех, кто пожимает плечами, изложили коротко: «LLM галлюцинируют. Это неустранимая проблема. Придётся привыкнуть». Но именно против такого стимула предупреждает Шнайер. Если «неустранимо» превращается в «не наша вина», компания получает возможность публиковать случайные утверждения о реальных людях в промышленных масштабах и ничего не платить, когда одно из них окажется клеветой. Выход, который прощупывал тред, не в лучших моделях: нужно добиться того, чтобы фраза «так сказал ИИ» не закрывала судебный иск.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 27 из 28 Читать дальше
🌍Other

Шрифт превращает набранный текст в штрихкод — и сам считает контрольную сумму EAN-13

Проект Libre Barcode предлагает шрифты, которые рендерят сканируемые штрихкоды прямо из текста: Code 39, Code 128 и EAN-13. Хитрость в том, что контрольная сумма EAN-13 считается внутри самого шрифта через фичи OpenType. Самый опытный голос в треде резюмировал: лучше не надо.

★ 276 · 💬 59 · graphicore.github.io · 2 мин