Компания Cloudflare представила инновационное решение для защиты от ботов и краулеров (пауков-поисковиков) на основе искусственного интеллекта — «AI Labyrinth».
Вместо того чтобы просто блокировать несанкционированных ботов, которые игнорируют директивы «no crawl» в файле robots.txt (запрещающим сканирование файлов с определёнными шаблонами) на страницах сайтов, и система создаёт похожие страницы-ловушки, сгенерированные GPT-интеллектом, с контентом похожим но не идентичным скопированному с оригинальных страниц всё для того чтобы замедлить, запутать и истощить ресурсы этих ботов.
Суть технологии заключается в том, что когда краулер пытается собрать данные с сайта, Cloudflare незаметно добавляет скрытые ссылки на страницы, созданные искусственным интеллектом. Боты следуют по этим ссылкам и попадают в «лабиринт» связанных между собой страниц с правдоподобным, но бесполезным контентом. Реальные пользователи эти ссылки не видят (ссылки эти исключительно машиночитаемые сканирующими ботами) и люди не переходят по ним.
Это даёт двойную выгоду: во-первых, боты тратят вычислительные ресурсы на обработку бесполезной информации вместо настоящего контента сайта, а во-вторых, это служит «приманкой» для идентификации ботов — если кто-то перешёл на третью-четвёртую страницу сгенерированной бессмыслицы, это с вероятностью 99% бот, а не бессмысленно блуждающий в Сети человек-серфер.
По данным Cloudflare, краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет почти 1% всего трафика. Эта технология не вредит качеству поисковиков и всяких GPT-роботов, не внедряется в их структуру вызывая логический слом. Только теперь те ИИ продукты логика которых не позволяет разгадать секрет запутывания будут тренироваться на бессмысленных «лабиринтах», сгенерированных Cloudflare.
***
Всё как всегда повторяется в истории противостояний, - танки появились раньше противотанковых орудий.
Оценили 12 человек
20 кармы