В 2019-м OpenAI заявила, что GPT-2 слишком опасна для релиза. Тред доказывает: правы были обе стороны
Всплывшая ретроспектива вспоминает поэтапный релиз GPT-2 и формулировку «слишком опасно». Семь лет спустя половина треда считает это оправданным из-за ИИ-мусора, половина — изначальным сценарием хайпа.
Пост возвращается к решению OpenAI в феврале 2019-го придержать модель на 1,5 млрд параметров, к девятимесячному исследованию, не нашедшему реальных злоупотреблений, и к полному релизу в ноябре.
Раскол резкий: один лагерь говорит, что социальный ущерб от дешёвого синтетического текста теперь астрономический, другой — что это был маркетинговый ход в духе «очень надеемся, что нас никто не воспримет всерьёз».
Синтез предложил дата-сайентист, строивший инструменты для GPT-2: оправданная осторожность в 2019-м, маркетинговый трюк применительно к моделям 2026-го.
Что именно обсуждают
Ретроспектива, написанная в декабре 2022-го как раз к запуску ChatGPT, пересказывает решение OpenAI в феврале 2019-го придержать полную модель GPT-2 на 1,5 миллиарда параметров: «Из-за опасений по поводу вредоносного применения технологии мы не выкладываем обученную модель», — и вместо этого сделать поэтапный релиз в духе «ответственного раскрытия». Она резюмирует девятимесячное наблюдение OpenAI: людям вывод казался убедительным, модель можно было дообучить во вред, сгенерированный текст распознавался примерно в 95% случаев, но серьёзных доказательств реальных злоупотреблений не было. Полную модель из 48 блоков-декодеров в итоге выложили с кодом и весами 5 ноября 2019 года.
Прозорливость или изначальный ход хайпа?
Тред раскололся почти пополам. Одна сторона читает осторожность 2019-го как прозорливость, учитывая то, что синтетический контент сделал с информационной экосистемой:
«Задним умом они были полностью правы. Социальный ущерб от дешёвой генерации контента, который трудно отличить от написанного человеком, астрономический.» — комментатор, доказывающий, что осторожность была оправданна
Другая сторона читает ту же историю как шаблон многолетнего самольстивого маркетинга опасности:
«Семь лет этого невыносимого маркетинга в стиле «ой, это так опасно, очень надеюсь, что нам не дадут кучу денег и не воспримут всерьёз», а люди до сих пор массово ведутся.» — комментатор о шаблоне «опасность как маркетинг»
Синтез от того, кто строил на GPT-2
Самая цитируемая срединная позиция отделила контекст 2019-го от рефлекса 2026-го.
«В 2019-м было разумнее осторожничать с более крупными моделями GPT-2, ведь надёжная генерация текста … была полной неизвестностью. А для чего-то вроде Mythos в 2026-м … честнее назвать это … маркетинговым трюком.» — Макс Вулф, сеньор дата-сайентист и автор gpt-2-simple
Больше всех веселились любители исторических параллелей, выкопав прецедент, от которого весь жанр «слишком опасно» кажется менее новым:
«Те же вайбы: в 2000-м Sony «объявила, что её PlayStation2 попала под экспортные ограничения, потому что её можно использовать в военных целях».» — автор графической библиотеки со ссылкой на Variety
Одна деталь состарилась странно: в 2019-м в исходном обсуждении GPT-2 никто вообще не упоминал генерацию кода — боялись спама и дезинформации, а не уязвимостей безопасности, которые сегодня доминируют в разговоре про Mythos (о том, чего на самом деле боялись в 2019-м). Оба прочтения оказываются верны разом: осторожность была разумна, пока возможность была неизвестна, а тот же сценарий стал трюком, как только неизвестность стала продуктом.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Инженеры Amazon завели мем-канал, чтобы высмеивать свой же ИИ. Один сотрудник пришёл усложнить картину
404 Media рассказала про Slack-канал, где сотрудники Amazon зовут вывод корпоративного ИИ «мусором» — отсюда «Sloppenheimer». Самый популярный ответ от назвавшегося инженером Amazon в основном опроверг эту подачу.