нам поможет справиться файл robots. txt.
В строку поиска вводим следующее сокращение: site.ru/ robots. txt. Где site.ru домен сайта.
User-agent: *
Disallow: / – сайт закрыт от поиска. Смысла проводить аудит нет!
User-agent: Yandex
Disallow: / – сайт закрыт от поиска Яндекс. Аудит в Яндекс не проводим!
User-agent: Googlebot
Disallow: / – сайт закрыт от поиска Гугл. Аудит в Гугл не проводим!
User-Agent: *
Disallow: *.jpg
Disallow: *.png
Disallow: *.gif – сайт открыт для поиска! Анализируем сайт!
В последнем случае стоит обратить внимание на интернет – страницы, закрытые от поиска.
Закрыть от поиска надо обязательно:
1) технические страницы (дубли);
2) неканонические.
Оптимизатор может закрыть любую интернет – страницу от поиска по собственному желанию!
Анализируем файл robots. txt. Обращаем внимание на закрытые от индекса интернет – страницы.
Файл robots. txt закрывает от индекса сайт в целом. Мета – тег может закрыть от индекса интернет – страницу по выбору.
<meta name=«robots» content=«noindex»/> – закрывает контент на странице. Весь контент на странице с этим мета – тегом не индексируется!
<meta name=«robots» content=«nofollow»/> – закрывает индексацию ссылок на странице. Все ссылки не индексируются!
<meta name=«robots» content=«none»/> – не индексируется контент и ссылки.
Нужный код вставляется между тегами <head> </head>
Оптимизаторы – практики часто используют мета – теги для управления индексацией сайта. Это быстро и более надежно. Почему? В практике автора были случаи, когда поисковые роботы Яндекса индексировали закрытую в файле robots. txt интернет – страницу. Получается, что robots. txt – это рекомендательный файл? Да, именно так! А мета – теги роботы поиска рассматривают в виде указательных директив.
Итак, при аудите проверяем не только файл robots. txt, но открытость для индекса страниц сайта по мета – тегам. Это можно сделать с помощью программ (ниже перечень) или выборочно по каждой странице: переходим на необходимую страницу, подводим курсор в правый верхний угол страницы (именно интернет – страницы), нажимаем правой кнопкой мыши, в панели ссылок выбираем «просмотреть код страницы», на уровне первого экрана анализируем наличие запрещающих мета – тегов.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «ЛитРес».
Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.
