Как спрятать часть сайта от поисковых машин

Индексация — это процесс, в результате которого ваш сайт попадает в каталоги поисковых машин и его становится возможно найти по релевантному поисковому запросу.

Попадает ваш сайт в базы данных Яндекса, Google, Bing, Rambler и всяких прочих Baidu благодаря тому, что так называемые «пауки» (специальные программы) этих поисковых систем денно и нощно обходят все сайты интернета и проверяют их на предмет новой, еще не учтенной информации. Вообще говоря это благо, ведь не будь индексации, как бы пользователь не только нашел что-нибудь на вашем сайте, но и вообще узнал о его существовании? Но как быть если на вашем сайте есть информация, показывать которую «всему интернету» не хочется? Скрыть информацию от всеведущего поискового ока можно, ниже я опишу несколько способов решения этой задачи.

Закрыть страницу паролем

Это самый простой способ. Дело в том, что роботы индексируют только открытые, общедоступные участки сайтов. И если вы вынесете всю «закрытую» информацию на защищенную паролем страницу, проиндексирована она не будет.

Минус такого подхода в том, что не получится скрыть информацию от поисковых роботов, не заставляя пользователей каждый раз вводить пароль (вдруг вы захотите придумать сложный URL и сочтете это достаточной защитой).

Запрет индексации с помощью плагина

Это очень простой метод, притом достаточно действенный. Понадобится плагин Yoast SEO. Для рассматриваемой задачи достаточно наделить страницу атрибутами «noindex» и «nofollow».

Исключение из индекса с помощью robots.txt

Это чуть более сложный, хотя и несколько более гибкий путь. Преимущество перед плагином в том, что можно скрыть информацию от «избранных» ботов. Чтобы, например, запретить индексировать страницу боту Google и при этом разрешить это делать поисковой системе Яндекс, достаточно подключиться к хостингу по FTP, создать в корне сайта файл robots.txt и добавить в него строки

В качестве URL надо писать адрес без доменного имени

Аналогичным образом можно закрыть от индексации весь сайт. Например, это целесообразно делать на моменты масштабных технических работ, чтобы поисковики не проиндексировали «временные» состояния сайта. Отменить индексацию можно либо добавив в robots.txt

либо проставив «галочку» в административной панели сайта

Закрытие от индексирования отрывка текста

Логика работы поисковых роботов позволяет закрывать от индексирования не только целые страницы, но и их части (абзацы, предложения, даже отдельные слова). Для этого достаточно открыть страницу в режиме исходного кода и заключить «скрываемый» текст в теги <noindex>. 

Это работает (по крайней мере с Яндекс, Google и Рамблер — точно), но сами поисковики не рекомендуют пользоваться этой функцией настолько избирательно. Предупреждают, что это может непредсказуемо повлиять на индексацию страницы, но я пока проблем не встречал.

Сегодня получился несколько «конспирологический» пост, как и всегда жду ваших комментариев!