ИИ Google выдумал спонсора — и повторил ложь в 2 случаях из 25
Луи Россманн обнаружил, что ИИ Google уверенно называет его спонсором Ground News. Это неправда. Читатель проверил тот же запрос 25 раз: в двух случаях из 25 ложь появилась снова. Симон Уиллисон указал на главный вопрос: кто несёт ответственность.
Проблема не в разовой ошибке модели, а в том, что один и тот же вопрос даёт разные ответы при каждом запуске: ложный факт всплывает в доле случаев, и никакого механизма для его обнаружения или устранения нет.
Брюс Шнайер сформулировал главное: если компании смогут прикрываться «ИИ напутал», они получат щит от ответственности, которого никогда не было у живых авторов, юристов или врачей.
Уверенная, воспроизводимая, случайная ложь
Исходная жалоба конкретна: ИИ Google заявил, что правозащитник в сфере права на ремонт Луи Россманн спонсируется Ground News. Это не так. Дискуссию разожгла статистика ошибки. Один читатель задал тот же запрос 25 раз: «каждый раз ответ был разным, и в 2 случаях из 25 система заявила о спонсорстве. То есть… у Google нет никакой «фиксации» фактов». Именно недетерминированность здесь — корень проблемы. Другой читатель попробовал загуглить собственную компанию и получил «как минимум одну фактическую ошибку, причём ошибки были разными при каждом запуске». Нельзя исправить ошибку, которая появляется лишь в одном случае из двенадцати.
От раздражения к праву
Вокруг ссылки Симона Уиллисона, создателя Datasette, на статью Брюса Шнайера об ИИ и ответственности сосредоточилось главное обсуждение:
«Позволить бизнесу прятаться за отговоркой о «неисправном ИИ» — значит сделать огромный подарок корпорациям. Зачем нанимать живых авторов, юристов или врачей, если ИИ не только дешевле, но и снимает с работодателя всякую ответственность за ошибки?»
Один из участников сформулировал правовой вопрос прямо: «Может ли языковая модель оклеветать человека?.. Кого тот подаст в суд?» Когда ложь случайна и ни один человек не стоит в цепочке решений, ответственность размывается по-настоящему.
Защита, которая не работает
Позицию тех, кто пожимает плечами, изложили коротко: «LLM галлюцинируют. Это неустранимая проблема. Придётся привыкнуть». Но именно против такого стимула предупреждает Шнайер. Если «неустранимо» превращается в «не наша вина», компания получает возможность публиковать случайные утверждения о реальных людях в промышленных масштабах и ничего не платить, когда одно из них окажется клеветой. Выход, который прощупывал тред, не в лучших моделях: нужно добиться того, чтобы фраза «так сказал ИИ» не закрывала судебный иск.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Шрифт превращает набранный текст в штрихкод — и сам считает контрольную сумму EAN-13
Проект Libre Barcode предлагает шрифты, которые рендерят сканируемые штрихкоды прямо из текста: Code 39, Code 128 и EAN-13. Хитрость в том, что контрольная сумма EAN-13 считается внутри самого шрифта через фичи OpenType. Самый опытный голос в треде резюмировал: лучше не надо.