не должно быть служебных поддоменов и страниц, дублей и прочего «мусора».
Полноту индексации иногда непросто проверить при работе с большими проектами. Для этого случая можно посоветовать проверять полноту по отдельным подразделам.
Коды ответа сервера
Все существующие страницы должны возвращать код ответа сервера 200 (ОК), а все удаленные или несуществующие документы – 404 (Not found).
Проверить выполнение этого правила можно с помощью специального программного обеспечения или веб-сервисов, информацию о которых легко найти в Сети.
Полезные советы и типичные ошибки
Перечислим некоторые типичные ошибки, которых стоит избегать, чтобы улучшить индексацию и перелинковку сайта:
1. На все ключевые разделы желательно поставить ссылку с главной страницы. Конечно, для масштабных информационных проектов и больших интернет-магазинов это может быть проблематично, но стремиться к этому необходимо.
2. Не следует ставить слишком много внутренних ссылок на одной странице.
Не так давно из-за технических ограничений поисковые системы не рекомендовали ставить больше 100–150 ссылок на странице. Сейчас таких жестких ограничений нет, поисковики лишь рекомендуют использовать «оправданное количество ссылок».
При этом нужно иметь в виду, что внутренний вес распределяется по каждой ссылке. Это значит, что если на странице 100 ссылок, то каждая получит 1/100 части веса, а если тысяча – лишь 1/1000. Кроме того, чрезмерное количество ссылок может восприниматься поисковыми системами как спам или попытка манипуляции выдачей, что автоматически приведет к наложению санкций.
Выводы:
a. Не стоит концентрироваться на точном ограничении количества ссылок.
b. Все ссылки нужно ставить для пользователей, а не поисковых роботов.
c. В пределах одной страницы ссылок не должно быть слишком много.
3. На все страницы сайта должен быть переход хотя бы по одной ссылке. Встречается ситуация, когда страница исчезает из навигационных цепочек, но остается доступной по прямой ссылке (например, при изменении каталога в интернет-магазине). Нужно быть готовым к тому, что такие страницы со временем выпадут из индекса.
4. В главе про улучшение скорости работы сайта мы говорили о важности использования http-кэширования[75]. Но использовать кэш важно не только для того, чтобы улучшить скорость загрузки.
Благодаря использованию нужных заголовков (один из пары Expires и Cache-Control max-age, а также один заголовок из пары Last-Modified и ETag) можно уменьшить объем передаваемого трафика за счет использования ресурсов из кэша, а не повторной их загрузки. Таким образом можно сэкономить краулинговый бюджет и улучшить полноту индексации сайта.
5. Не нужно использовать nofollow-ссылки во внутренней перелинковке. Это затруднит индексацию страниц сайта. Исключение составляют случаи приоритизации сканирования, когда для робота закрываются разделы, которые не имеет смысла индексировать (примером могут служить ссылки на вход, регистрацию или корзину
https://developers.google.com/speed/docs/insights/Leverage BrowserCaching
