Тьюринговский лауреат Саттон: LLM умеют варьировать, но не открывать. Тред не согласен (twitter.com)
Его тезис: траектория модели «либо новая, либо хорошая — на основе случайности или на основе данных, но никогда и то, и другое одновременно».
Контраргумент, который зацепил: это описание эпохи предобучения, а не эпохи RL. Помести модель в цикл с тестами и обратной связью — и вот тебе оценка и отбор.
Войдите, чтобы сохранить