от ограничения доступа к общему доступу к дублированию контента на вашем веб-сайте.
Поисковые системы желают видеть все на случай, если вы сделали ошибку в своем коде.
Использование мета-роботов является особенно хорошим решением для разрешения проблемы с дублями страниц.
Предпочтительная обработка доменов и параметров в Google Search Console.
Консоль Google Search Console позволяет указать предпочтительный домен сайта (например, http://yoursite.com вместо http://www.yoursite.com) и указать, должен ли Googlebot сканировать различные параметры URL-адреса по-разному, т.е. обрабатывать параметры.
В зависимости от структуры URL-адреса и причины возникновения проблемы с дублями страниц, можно настроить или предпочитаемый домен, или обработку параметров (или оба!).
Основным недостатком использования обработки параметров в качестве основного метода работы с копиями страниц является то, что эти изменения, работают только в Google.
Любые правила, введенные с помощью Google Search Console, не повлияют на то, как Яндекса, так и других поисковых систем, которые сканируют сайт. Придется использовать инструменты для других поисковых систем в дополнение к настройке параметров в Search Console.
Файл robots. txt.
В файле robots. txt сообщается поисковым ботам, какие страницы или файлы не стоит сканировать.
Для этого используют директиву «Disallow». Она запрещает заходить на ненужные страницы.
Заметьте, если страница указана в robots. txt с директивой Disallow, это не значит, что страница не будет проиндексирована, и не попадёт в выдачу.
Это может произойти, потому что
· страница была проиндексирована ранее,
· на неё есть внутренние
· или внешние ссылки.
Инструкции robots. txt носят рекомендательный характер для поисковых ботов. Поэтому этот метод не гарантирует удаление дублей из списка ранжированных страниц.
Всегда тег rel = canonical гарантирует, что версия вашего сайта получит дополнительный кредит доверия как «оригинальный» фрагмент контента.
Дополнительные методы для работы с дублирующим контентом.
1. Если веб-мастер определяет, что каноническая версия домена – www.example.com/, то все внутренние ссылки должны идти по адресу
http: // www. example.com/example, а не http: // example.com/page
(обратите внимание на отсутствие www).
2. При копировании фрагмента контента убедитесь, что страница с копированной частью добавляет ссылку на исходный контент, а не вариант URL.
3. Чтобы добавить дополнительную защиту от копирования контента, уменьшающего SEO- вес для контента, разумно добавить ссылку на rel-canonical для ссылок на существующие страницы. Это канонический атрибут, указывающий на URL-адрес, на котором он уже включён, и это значит, что это препятствует воровству контента.
После того как устранили дублирующий контент необходимо проверить сайт ещё раз. Только так можно убедиться в эффективности проведённых действий.
