Инструмент, превращающий Git в запрашиваемые «сущности кода» — и заявка «в 2,3 раза точнее», которую тред разнёс

Идея

Sem (от Ataraxy Labs) подаёт «новый примитив для понимания кода»: вместо опоры на LSP он строит семантические сущности поверх Git, так что можно запустить что-то вроде sem impact <function> и увидеть, от чего она зависит, что её вызывает, сколько сущностей и тестов транзитивно затронуто, и diff коммитов на уровне AST (а не строк). Лендинг открывается заявкой-бенчмарком: «ИИ-агенты на 2,3 раза точнее, когда им дают вывод sem, а не сырые построчные диффы».

Треду в основном понравилась концепция «сущности-поверх-Git». Он прошёлся по всему, что вокруг неё обёрнуто.

Заявку-бенчмарк разносят

«Окей, выглядит отлично, но ради всего святого… пожалуйста, прекратите вот это: „ИИ-агенты на 2,3 раза точнее, когда им дают вывод sem, а не сырые построчные диффы“ … Вы пытаетесь притвориться, будто ваш инструмент делает ИИ-агентов в 2,3 раза лучше в кодинге или починке багов. Это не так». — разработчик, оспаривающий маркетинговую заявку

Другой читатель объяснил, почему число пустое — оно измеряет собственную концепцию инструмента:

«Бенчмарки не очень, они сверхспецифичны под вывод sem: с чего бы мне спрашивать Claude, сколько „сущностей“ изменил коммит … Заметьте, что „сущность“ — это специфичное для sem понятие». — разработчик, называющий бенчмарк замкнутым на себя

Бенчмарк, который оценивает модели по воспроизведению собственного словаря sem, измеряет не точность; он измеряет соответствие.

Установщик вызывает вопросы

«Раздел „Попробуй. 10 секунд“ внизу страницы перехватывает существующий инструмент (git diff) и устанавливает pre-commit-хук. Но нет инструкций, как откатить эти действия, если инструмент не понравится. Мне это кажется немного враждебным к пользователю». — разработчик, отметивший поведение установщика

Где он реально мог бы блеснуть

Самый великодушный комментарий нашёл конкретное, реальное применение:

«Это может помочь jujutsu автоматически разбивать большую ревизию на маленькие ортогональные. Иногда агент делает монолитный коммит, и разбивать вручную код, который ты не писал, — куча работы». — комментатор со сценарием jujutsu/коммитов агента

Закономерность

Sem — хороший пример жанра: реальная техническая идея, подорванная маркетинговыми рефлексами эпохи ИИ. Представления на уровне сущностей, осведомлённые об AST, поверх Git — законно полезный примитив: для агентов, делающих монолитные коммиты, для анализа влияния, для разбиения изменений. Но замкнутый на себя бенчмарк «2,3 раза» и установщик, тихо переписывающий ваш git diff без кнопки «выкл», учат опытных разработчиков не доверять ровно тому, чему стоило бы. Послание треда автору было, по сути: уберите число, поставляйте примитив.