Блокировка страниц с помощью robots.txt
Данный файл является наиболее популярным методом запрета индексации страниц портала. Он ограничивает доступ роботов, которые проводят сканирование Всемирной сети для поисковиков, к сайту.
Применять robots.txt следует только тогда, когда на вашем ресурсе есть информация, которую не стоит включать в индексацию.
В поисковой системе Яндекс файл создает запрет на закрытые страницы, но разрешает их загрузку. Их можно увидеть в разделе исключенных страниц. В Гугл он также их загружает и демонстрирует в дополнительном индексе.
Применение метатега robots для блокировки доступа
Этот способ достаточно не такой распространенный, потому что многие создатели CMS попросту не уделяют ему должное внимание или забывают. В данном случае за активностью роботов на сайте целиком отвечают веб-мастера, которые выбирают robots.txt. Но более продвинутые специалисты предпочитают robots.
Внутренние ссылки
По сути, они и есть виновники блокировки страниц. Но дело в том, что страницы, которые не нужны роботам, необходимы посетителям сайта, поэтому на них должны быть ссылки. Как же поступить в данном случае? Есть два варианта:
- закрывать ненужные ссылки от гостей;
- использовать JavaScript, чтобы разделы площадки не были видны роботам, но были доступны пользователям.
Вот такие моменты существуют при работе с собственным сайтом в Яндексе и Гугл. Как видите, если заранее принять необходимые меры, то можно закрыть роботам доступ к любой информации по собственному усмотрению.
