robots.txt и sitemap: что проверить, если страницы «закрыты» от поиска
Это рабочий список проверок, а не идея «заказать SEO-аудит». Robots.txt — текстовый файл в корне сайта, где поисковому роботу пишут, по каким путям ходить можно, а по каким нельзя (часто через строку Disallow). Sitemap — карта адресов сайта для роботов: какие URL вообще стоит знать поиску. Noindex — указание не класть страницу в индекс, даже если робот её открыл; разбор — в термине noindex. Индексация — попадание URL в базу поиска; без неё страницы в выдаче не будет, какой бы ни был текст — индексация. Чеклист для собственника и маркетолога, у которых «всё открыто», а коммерческих страниц в поиске мало. Идите сверху вниз, группами. Пункт закрыт только по «готово, если».
Одна группа — один заход. Сначала доступ в robots.txt, потом карта сайта, потом запрет на самой странице и сверка в кабинете. Это не про «страница в индексе, а заявок нет» — тот срез в материале про индекс без позиций. Ошибки обхода и статусы в кабинете Яндекса — в статье про ошибки Вебмастера. Пока здесь красные первые группы, в поддержку про фильтр не пишут.
robots.txt: Disallow и User-agent
- Откройте https://ваш-домен/robots.txt в браузере без авторизации. Готово, если файл отдаётся кодом 200, а не страница входа, 404 или HTML-заглушка хостинга.
- Найдите блок User-agent: * (или отдельный для Yandex/Google) и строки Disallow. Готово, если нет Disallow: / и нет Disallow на папку услуг, каталога или блога, которые должны быть в поиске.
- Сверьте дату деплоя с появлением «закрытия»: после переезда, смены CMS или копирования staging часто уезжает закрытый robots. Готово, если текущий файл совпадает с боевым шаблоном, а не с тестовым «закрыть всё».
- Проверьте Allow: он не отменяет ошибочный Disallow на тот же путь, если правила написаны противоречиво. Готово, если для money-URL нет запрета обхода в актуальном файле.
Sitemap: ответ сервера и состав URL
- Откройте адрес карты из robots (Sitemap: …) или /sitemap.xml. Готово, если ответ 200 и это XML со списком URL, а не HTML «страница не найдена».
- Выпишите 10–20 коммерческих адресов услуг и категорий: они есть в sitemap. Готово, если нужные URL в карте есть, а служебные «спасибо», корзина и фильтры без спроса — нет.
- Откройте 5 URL из sitemap в инкогнито. Готово, если каждый отвечает 200 и это та же страница, а не редирект на главную и не 404.
- Если карта — индекс из нескольких файлов, откройте дочерние sitemap. Готово, если дочерние тоже живые; битая вложенная карта считается сломанной целиком.
noindex на странице и в заголовке ответа
- Откройте исходный код коммерческой страницы: meta name="robots" и meta name="yandex". Готово, если нет noindex на услуге, категории и статье, которые должны быть в поиске.
- В инструментах разработчика посмотрите ответ сервера: заголовок X-Robots-Tag. Готово, если там тоже нет noindex/none на money-URL.
- Сверьте шаблон CMS: черновик, «скрыть из поиска», витрина или параметр превью часто ставят noindex пачкой. Готово, если на боевой странице запрета нет, а на служебной — осознанно есть.
- Страница с noindex не должна быть единственной версией услуги в sitemap как «главный» URL. Готово, если в карте лежат индексируемые адреса, а закрытые — вне карты или осознанно служебные.
Сверка в Яндекс.Вебмастере
- В Вебмастере откройте «Страницы в поиске» / исключённые URL и возьмите 5 адресов услуг. Готово, если причина исключения совпадает с найденным Disallow, noindex или ошибкой sitemap — а не «неизвестно» при чистых директивах.
- Отправьте проверку одного URL после правки robots или снятия noindex. Готово, если статус обновился или хотя бы зафиксирована дата переобхода; в тот же час «готово по индексу» не ставят.
- Сверьте главное зеркало и протокол: http/https, www и без www. Готово, если человек, sitemap и кабинет говорят об одном хосте.
- Только после зелёных групп выше смотрят массовые исключения без директивы — и тогда уже материал про ошибки кабинета, а не этот список.
Что не отмечать «готово», пока красные первые группы
- Тикет в поддержку Яндекса «снимите фильтр» — пока в robots Disallow на услуги или на всём сайте.
- Новые тексты и закупку ссылок — пока money-URL с noindex или их нет в живом sitemap.
- Смену семантического ядра «под фильтр» — пока не закрыты robots, карта и meta.
- Полный отчёт «нас санкционировали» клиенту или руководству — пока три технических группы не зелёные.
ЗаходыТри захода. Первый — только robots.txt. Второй — sitemap: код ответа и состав URL. Третий — noindex на страницах и сверка в Вебмастере. Пока первая группа красная, вторую и третью не считают закрытыми: робот даже не доходит до карты и meta так, как вы ожидаете.
Частые вопросы
С какого пункта начинать, если страницы «закрыты» от поиска?
С robots.txt: сначала Disallow и User-agent, потом карта сайта, потом noindex на самой странице. Пока не закрыты первые группы, писать в поддержку про «фильтр» рано.
Чем Disallow отличается от noindex?
Disallow в robots.txt просит робота не заходить по пути. noindex говорит: страницу можно открыть, но в индекс не класть. Закрытие разными способами лечится в разных местах — файл robots и код страницы.
Sitemap есть, а страниц в индексе мало. Это уже фильтр?
Не обязательно. Сначала смотрят, отдаёт ли sitemap код 200, лежат ли в нём нужные URL и нет ли там адресов с noindex. Битая или пустая карта часто выглядит как «нас закрыли», хотя директива в файле.
На сколько заходов разбить этот чеклист?
Три. Первый — robots.txt. Второй — sitemap. Третий — noindex и сверка в Вебмастере. Пока первая группа красная, хвосты не отмечают «готово».
Когда уже можно писать в поддержку Яндекса?
Когда robots открывает нужные пути, sitemap живой и с нужными URL, на коммерческих страницах нет noindex, а в Вебмастере всё равно массовые исключения без понятной директивы. До этого эскалация только тратит время.