Компания Cloudflare представила инновационное решение для защиты от ботов и краулеров (пауков-поисковиков) на основе искусственного интеллекта — «AI Labyrinth».
Вместо того чтобы просто блокировать несанкционированных ботов, которые игнорируют директивы «no crawl» в файле robots.txt (запрещающим сканирование файлов с определёнными шаблонами) на страницах сайтов, и система создаёт похожие страницы-ловушки, сгенерированные GPT-интеллектом, с контентом похожим но не идентичным скопированному с оригинальных страниц всё для того чтобы замедлить, запутать и истощить ресурсы этих ботов.
Суть технологии заключается в том, что когда краулер пытается собрать данные с сайта, Cloudflare незаметно добавляет скрытые ссылки на страницы, созданные искусственным интеллектом. Боты следуют по этим ссылкам и попадают в «лабиринт» связанных между собой страниц с правдоподобным, но бесполезным контентом. Реальные пользователи эти ссылки не видят (ссылки эти исключительно машиночитаемые сканирующими ботами) и люди не переходят по ним.
Это даёт двойную выгоду: во-первых, боты тратят вычислительные ресурсы на обработку бесполезной информации вместо настоящего контента сайта, а во-вторых, это служит «приманкой» для идентификации ботов — если кто-то перешёл на третью-четвёртую страницу сгенерированной бессмыслицы, это с вероятностью 99% бот, а не бессмысленно блуждающий в Сети человек-серфер.
По данным Cloudflare, краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет почти 1% всего трафика. Эта технология не вредит качеству поисковиков и всяких GPT-роботов, не внедряется в их структуру вызывая логический слом. Только теперь те ИИ продукты логика которых не позволяет разгадать секрет запутывания будут тренироваться на бессмысленных «лабиринтах», сгенерированных Cloudflare.
***
Всё как всегда повторяется в истории противостояний, - танки появились раньше противотанковых орудий.
-
-
- +1
-
Зачем поддерживать автора?
Зачем поддерживать автора?
- - Любой текст это труд, если вам понравилась статья, то поддерживая автора - вы показываете, что оценили то, что он потратил свое время и силы.
- - Автор получает небольшую финансовую помощь от вас, у него появляется больше стимула сделать еще лучше.
- - Статья, которую поддерживают пользователи попадет в рейтинг по поддержке на главной странице Конта, что принесет ей больше просмотров и откликов, а значит, поддерживая статью вы помогаете автору продвигать его точку зрения.
Оценили 12 человек
20 кармы