Британской полиции велели прекратить использовать Copilot для судебных показаний — и ломается именно «просто проверяйте вывод»

Распоряжение

Согласно репортажу FT (для нашего запроса за пейволом; кратко изложен через тред), высокопоставленный полицейский чин Великобритании велел силам Англии и Уэльса прекратить использовать общедоступные ИИ-инструменты — среди них Microsoft Copilot — для создания судебных и свидетельских показаний, пока эти инструменты не будут как следует оценены. Иными словами, развёртывание опередило оценку. Заявленная мера снижения риска — политика, требующая от офицеров «проверять всё, что он выдаёт».

Почему защита рушится там, где важнее всего

Тред не утверждал, что ИИ бесполезен для полицейской бумажной работы. Он утверждал, что защита применена не к месту:

«Они не только используют ИИ до того, как как следует его оценили, — они ещё и используют Copilot, который должен быть одним из худших ИИ на сегодня … они надеются опереться на „пожалуйста, проверяйте выводы“, что очевидно не является приемлемой защитой». — разработчик, строящий local-first софт

Самое острое различение в треде было между двумя очень разными видами текста:

«Субъективную информацию должна вводить полиция, потому что, я утверждаю, конкретная формулировка имеет значение. Важно, чтобы слова, описывающие увиденное полицейским, выходили из мозга полицейского». — комментатор, отделяющий шаблон от показаний под присягой

Вот суть. Модель может отформатировать блок адреса. Но она не должна быть автором-первоисточником фразы «подозреваемый выглядел агрессивным» в документе, который суд воспринимает как собственное воспоминание офицера, — потому что человек, бегло просматривающий гладкий абзац на предмет ошибок, — это ровно та проверка, которая с наименьшей вероятностью поймает правдоподобно звучащую выдумку.

Лучшая настройка по умолчанию

Один комментатор указал, как доказательственная система уже решила это:

«Суды предпочитают живые показания свидетеля по веской причине. Детективы предпочитают показания, данные по как можно более свежим следам событий, по веской причине … Где нужен текст — автотранскрипция». — комментатор, предлагающий транскрипцию вместо генерации

Транскрипция фиксирует то, что было сказано на самом деле; генерация выдумывает то, что правдоподобно могло быть сказано. Остановка — не антиИИ-луддизм. Это признание того, что «проверяйте вывод» — это контроль, спроектированный для черновиков с низкими ставками, который тихо стал несущим там, где точные слова могут отправить человека в тюрьму.