Я уже писал про noindex в 2011 году! Много воды утекло. Пора обновить информацию.
Что такое noindex и зачем он нужен
noindex — это директива (метатег), которая сообщает поисковым роботам: «эту страницу не нужно включать в индекс». Она не запрещает краулерам посещать страницу — она лишь говорит им не показывать её в результатах поиска.
Реализуется двумя способами:
Через мета-тег в <head>:
<meta name="robots" content="noindex">
Через HTTP-заголовок (особенно актуально для не-HTML ресурсов — PDF, изображений):
X-Robots-Tag: noindex
Синтаксис и варианты директивы
<!-- Только запрет индексации -->
<meta name="robots" content="noindex">
<!-- Запрет индексации + запрет перехода по ссылкам -->
<meta name="robots" content="noindex, nofollow">
<!-- Для конкретного бота (например, только для Google) -->
<meta name="googlebot" content="noindex">
<!-- Для Яндекса -->
<meta name="yandex" content="noindex">
<!-- Комбинация: не индексировать, но ссылки передавать дальше -->
<meta name="robots" content="noindex, follow">
Важно:
noindex, follow— наиболее распространённая комбинация на практике. Она позволяет краулеру обходить ссылки со страницы и передавать ссылочный вес, но саму страницу не показывает пользователям.
Как это работает?
Когда Googlebot или другой краулер заходит на страницу:
- Скачивает HTML
- Парсит
<head>на наличие мета-тегов robots - Если находит
noindex— помечает URL как «не для индекса» - Страница исключается из выдачи, но URL может оставаться в базе краулера
Ключевой нюанс 2025–2026 года: Google давно перешёл на полноценный рендеринг JavaScript перед обработкой директив. Это значит, что если noindex добавляется динамически через JS — Google его увидит, но с задержкой в несколько дней. Для срочного исключения страниц это критично.
Актуальные сценарии применения в 2026 году
Когда noindex нужен
| Сценарий | Причина |
|---|---|
| Страницы корзины и оформления заказа | Дублируют структуру, не несут SEO-ценности |
| Результаты поиска по сайту | Google воспринимает их как thin content |
| Страницы входа, регистрации, личный кабинет | Закрытый контент без ценности для выдачи |
| Теги и метки в блоге | Часто создают дублированный контент |
| Пагинация (в ряде случаев) | Если страницы 2, 3, 4… не имеют уникальной ценности |
| Тестовые и staging-страницы | Случайно доступные черновики |
| Служебные страницы (политика cookies, техническое обслуживание) | Не релевантны для поиска |
| AI-генерированный контент низкого качества | В 2026 году это особенно актуально — Google агрессивно понижает массовый сгенерированный контент |
Когда noindex — ошибка
- Главная страница сайта (случается чаще, чем кажется)
- Страницы категорий и товаров в интернет-магазине
- Посадочные страницы рекламных кампаний с органическим трафиком
- Страницы, на которые ведут внешние ссылки
Критическая ошибка: noindex + disallow в robots.txt
Это одна из самых распространённых и опасных ошибок в SEO:
# robots.txt
User-agent: *
Disallow: /private-page/
<!-- На самой странице -->
<meta name="robots" content="noindex">
Проблема: если страница закрыта через Disallow, краулер её не посещает → мета-тег noindex не читается → страница может оставаться в индексе неопределённо долго.
Правило: чтобы noindex сработал, страница должна быть доступна для краулинга. robots.txt и noindex — это разные инструменты с разными задачами.
noindex и ссылочный вес в 2026 году
Поведение Google в отношении noindex-страниц и PageRank:
- Ссылки с noindex-страницы — передаются (если указан
follow) - Ссылки на noindex-страницу — засчитываются, но сама страница не ранжируется
- Внутренние ссылки через noindex-страницы — краулинговый путь сохраняется
Яндекс в 2026 году ведёт себя схоже, но имеет собственную реализацию через тег <meta name="yandex" content="noindex"> и отдельный атрибут <a rel="nofollow"> для управления ссылочной массой.
Проверка работы noindex
Инструменты:
Google Search Console → Страницы → Фильтр «Исключённые» → «Исключено тегом noindex»
Команда в браузере (DevTools):
document.querySelector('meta[name="robots"]')?.getAttribute('content')
Ручная проверка через curl (для HTTP-заголовков):
curl -I https://seopmr.ru/page
# Смотрим X-Robots-Tag в ответе
Сроки исключения из индекса
Это один из самых частых вопросов на практике:
- Google: от нескольких дней до 2–3 недель при органическом краулинге. Для ускорения — используйте инструмент «Удаление URL» в Search Console (временное, на 6 месяцев) или запросите переобход через «Проверка URL».
- Яндекс: как правило, быстрее — 3–7 дней для активных сайтов.
- Bing: сопоставимо с Google, иногда медленнее.
noindex в контексте AI-краулеров 2026 года
В 2025–2026 годах появилась новая реальность: сайты начали защищаться не только от поисковых роботов, но и от AI-краулеров (GPTBot, ClaudeBot, PerplexityBot и других), которые собирают данные для обучения моделей и AI-ответов.
noindex не влияет на AI-краулеры — это чисто поисковая директива. Для управления AI-роботами используются:
# robots.txt
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Или специализированные заголовки, которые начали появляться в 2025 году как часть обсуждения стандарта ai-usage-policy.txt.
Главные принципы работы с noindex
- noindex ≠ запрет краулинга — страница должна быть доступна для робота
- JS-рендеринг работает, но медленнее — для срочных случаев используйте серверный HTML
- Не блокируйте noindex-страницы в robots.txt — директива не будет прочитана
- noindex, follow — оптимальная комбинация для большинства служебных страниц
- Регулярно проверяйте Search Console — случайный noindex на важных страницах встречается на удивление часто даже у крупных сайтов