Поиск Нигмы возрождён

Наш поисковый робот по состоянию на 14.03.2023 скачал (и время от времени перекачивает) 123.000.000 страниц. Из 123.000.000 скачанных страниц доступны для поиска около 64.000.000, остальные - дубликаты, копии и прочий поисковый «мусор». Однако при этом общий размер очереди на скачивание примерно в 10 раз больше - 1.230.240.800 страниц. И данный список растёт быстрее первого: то есть каждый раз, когда скачивается новая страница, поисковый робот по ссылкам узнаёт о существовании ещё нескольких других страниц. Стоит отметить, что оба списка периодически проходят фильтрацию на поисковый спам, дубликаты и зеркала.

Таким образом, в рунете на сегодняшний день есть уже несколько миллиардов страниц, среди которых, естественно, много дублей и страниц с несущественными различиями, немалую часть из которых поисковый робот Нигмы обошёл и добавил в базу поисковика. Известно, что заявления о том, что «рунет преодолел миллиард страниц» устарели, ведь он преодолел этот рубеж уже очень давно, просто далеко не все страницы включены в индекс Нигмы. На данный момент всё ещё около 20–30% (по сути - почти треть) документов рунета остаются непроиндексированными любой из существующих ныне поисковых машин. Некоторые даже считают, что их гораздо больше...