Уход в себя

По разным оценкам Гугл индексирует не более 25% сети. Таким образом, подтверждается и другая тенденция: люди массово уходят в так называемые "приватные клубы". Простейшим вариантом является закрытый для анонимных посетителей форум.

Поэтому мнение "райком закрыт, все ушли на фронт форумы вымерли, все ушли в соцсети" является ошибочным. Форумы превратились в частные клубы. В реальном мире ведь вполне уживаются олимпийские стадионы и спортзалы на сотню зрителей.

Комментарии

25% какого наполнения? Скорее

25% какого наполнения? Скорее всего речь идёт о том, что Гугл уважает robots.txt и поэтому по-сравнению с тупыми кроулерами не видит служебных частей сайтов, котороые могут составлять и более 3/4 от общего числа файлов доступных без авторизации. Никто я думаю не возьмётся оценить сколько связных слов и предложений Гугл индексирует по отношению к записанным в скрытых для публики местах. Это просто невозможно оценить. Даже если делать статистическую выборку по сайтам где робот авторизуется заранее агентами вручную. Такая выборка будет сильно зависеть от покрытых тематик, а вот как раз темы - это часть творчества. Можно выесть стандартные и известные но какой-нибудь глупый и неожиданный мем типа "Карл!" С легкостью разрушит любые выведенные корреляции.

По своему опыту считаю, что не более 10% содержательного наполнения сети спрятано от индексирования. Я смотрю по языковым сегментам, где я делаю поиски - английскому, китайским, немецкому, японскому, хинди и русскому. Восточная и западная Европа, Африка и испаноязычные - никакого понятия. Моя выборка неконсистентна, включает многие мем-тренды, химию-физику-компьютеры, историю и всякие "пацанские" темы. Биология, финансы, социология, философия и лингвистика полностью выпадают из моей зоны внимания, так что и там могут скрываться чудовища :)

Изображение пользователя st.

Приватная часть

Как я понимаю, речь идет, во-первых, о приватных частях сайтов, включая общедоступные сервисы дневников, ведущихся в режиме friends-only, и, прежде всего, форумы-клубы. Во-вторых, даже открытое содержание, к которому не обращаются черех поисковик, спустя несколько лет исчезает из результатов поиска. В-третьих, неиндексируемые службы, например, до недавнего времени фейсбук в гугл не попадал, да и сейчас там можно найти только часть публичных статусов.