Краулер стянул 145,5 ГБ с сайтов 3D-моделей за 34 часа, включая 54,8 ГБ взрослого контента

Что показывают логи

В своём посте от 26 октября Open3DLab пишет, что краулер посетил почти все 18 926 проектов на трёх сайтах за 34 часа с одного адреса Amazon Web Services и скачал 1027 файлов из 712 проектов: 145,5 ГБ. SmutBase, сайт только для взрослых, дал 364 файла (54,8 ГБ), а 345 из 712 проектов (62,6 ГБ) — взрослый контент. 423 проекта лицензированы только для некоммерческого использования.

Сайт заблокировал краулера 18 октября, после того как тот на выходные приостановился; он вернулся 19-го и 20-го. На два письма в Roblox ответа не пришло. В посте прямо сказано, что заявленную принадлежность user agent не проверяли, а идея, что данные пошли на 3D-модели ИИ Roblox, — собственное предположение, основанное на публичных исследованиях и формулировках.

«Как можно поднимать такой шум?»

Один комментатор спросил, как сайт может возмущаться, хостя материалы с разрешительной лицензией, включая взрослые модели; по его словам, он не понимает, откуда моральное превосходство. Ответ сказал, что пост это предвосхищает:

«Нам не нравится авторское право в том виде, в каком оно существует. Мы хотели бы, чтобы его радикально реформировали, и не стали бы скорбеть, если бы его отменили.»

В том же фрагменте сказано, что многие модели — фан-порты коммерческих персонажей, которыми делятся бесплатно, и «когда студия присылает нам требование об удалении, мы его выполняем».

Блокировать облако и почему это перестаёт работать

Один комментатор предложил просто отсекать трафик от AWS, DigitalOcean и Azure. Другой ответил, что в другом треде указали: так потеряются офисы, которые подключаются через VPN-шлюзы в этих облаках. Третий возразил, что трафик резидентных прокси уже регулярно появляется на главной HN, так что краулеры не останутся в дата-центрах.

Если ссылка с Roblox подтвердится, цифры по лицензиям важнее байтов: 423 некоммерческих проекта забрало то, что подписано корпоративным контактным адресом.