Что на самом деле означают коды статуса HTTP для SEO

Коды статуса HTTP — одна из тех тем, где советы по SEO иногда становятся странно драматичными. Один 404 превращается в «потерянный авторитет». Редирект — в «утечку ссылочного веса». 500 — в чрезвычайную ситуацию, даже если он длился шесть минут во время деплоя.

Более спокойная версия такова: коды статуса HTTP — это инструкции и сигналы. Они сообщают браузерам, ботам, кешам и другим клиентам, что произошло, когда они запросили URL. Поисковые системы используют эти ответы, чтобы решить, сканировать, индексировать, сохранять, заменять или удалять страницу.

Но не каждый код статуса имеет одинаковый вес для SEO. Некоторые являются обычной рутиной. Некоторые становятся проблемой только в масштабе. Несколько требуют немедленного внимания.

Код статуса — это не вся SEO-картина

Код статуса — лишь одна часть HTTP-ответа. Поисковые системы также смотрят на:

• конечный URL после редиректов
• canonical-теги
• директивы robots
• содержимое страницы
• внутренние ссылки
• сигналы sitemap
• историческое поведение сканирования
• надежность сервера со временем

Это означает, что «страница возвращает 200» — не то же самое, что «страница доступна для индексирования». URL может возвращать 200 и при этом быть заблокированным через noindex, канонизированным на другой адрес или воспринятым как soft 404 из-за тонкого или пустого контента.

Точно так же 404 не является автоматически плохим сигналом. Удаленная страница обычно должна возвращать 404 или 410. SEO-проблема не в том, что отсутствующие страницы существуют. Проблема возникает, когда важные страницы возвращают неправильный код или когда сайт отправляет противоречивые сигналы.

Если вы отлаживаете это в продакшене, не полагайтесь только на то, что показывает браузер. Проверяйте фактическую цепочку ответов. Сырая проверка заголовков, запрос из командной строки или трассировка редиректов скажут больше, чем видимая страница. Практический рабочий процесс мы описали в небольшом наборе инструментов для отладки редиректов и HTTP-заголовков в продакшене.

200 OK: индексируемо, но не автоматически ценно

Ответ 200 OK означает, что запрос выполнен успешно и сервер вернул содержимое. Для SEO это нормальный ответ для страниц, которые вы хотите сканировать и потенциально индексировать.

Но 200 не гарантирует индексирование. Поисковые системы все равно могут решить не индексировать страницу, если она дублирующаяся, низкого качества, заблокирована директивами на уровне страницы или не обнаруживается через ссылки.

Самая распространенная SEO-ошибка с ответами 200 — возвращать их для страниц, которые на самом деле не являются полноценными страницами:

• пустые страницы результатов поиска
• удаленные страницы товаров с текстом «извините, недоступно»
• страницы локаций без содержательного контента
• сломанные шаблоны, которые выводят только оболочку
• истекшие объявления, которые нужно удалить или перенаправить

Они могут стать soft 404. Soft 404 — это ситуация, когда сервер говорит «OK», но контент сообщает краулеру: «здесь нет ничего полезного». Поисковые системы все равно могут обработать такой URL как отсутствующую страницу.

Хорошее правило: если человек сказал бы «этой страницы больше не существует», серверу, вероятно, не стоит говорить 200.

301 и 308: постоянные редиректы

301 Moved Permanently и 308 Permanent Redirect сообщают клиентам, что URL окончательно перемещен. Для SEO это правильные инструменты, когда у страницы есть понятная замена:

• миграция с HTTP на HTTPS
• старый slug на новый slug
• объединенная статья на более сильную статью
• снятый с продажи товар на близкий аналог
• нормализация trailing slash или canonical host

Поисковые системы обычно передают сигналы каноникализации через постоянные редиректы. Проще говоря: если вы перенаправляете старый URL на правильный новый URL, поисковые системы могут объединить многие сигналы, связанные со старой страницей.

Риск не в том, что 301 сам по себе вреден. Риск — в плохом сопоставлении.

Плохие паттерны редиректов включают:

• перенаправление каждого старого URL на главную страницу
• перенаправление удаленных страниц на слабо связанные страницы категорий
• создание цепочек вроде A → B → C → D
• редирект на URL, который заблокирован, имеет noindex или канонизирован на другой адрес
• непоследовательные редиректы для мобильной и десктопной версий

Постоянный редирект должен отвечать на один вопрос: «Какой лучший текущий эквивалент этого URL?» Если эквивалента нет, 404 или 410 могут быть честнее.

302 и 307: временные редиректы

302 Found и 307 Temporary Redirect указывают, что перемещение временное. Ожидается, что исходный URL со временем останется основным URL.

Используйте временные редиректы для действительно временных ситуаций:

• краткосрочная маршрутизация кампаний
• геолокация или A/B-тестирование, которые не должны заменять canonical URL
• временные альтернативы на период обслуживания
• сценарии со складскими остатками или доступностью, которые часто меняются

Для SEO главная проблема — неоднозначность. Если «временный» редирект остается на месте месяцы или годы, поисковые системы со временем могут все равно начать считать целевой адрес каноническим. Но не стоит рассчитывать на такую интерпретацию.

Если перемещение постоянное, используйте постоянный редирект. Если временное — временный редирект. Скучный ответ здесь правильный.

304 Not Modified: полезно, но не короткий путь к ранжированию

304 Not Modified — часть HTTP-кеширования. Он сообщает клиенту, что ресурс не изменился с той версии, которая у него уже есть.

Этот код полезен для эффективности сканирования и инфраструктурной гигиены производительности. Он может сократить ненужную передачу данных и сделать повторные запросы дешевле. Но он не является прямым фактором ранжирования в упрощенном смысле.

Думайте о 304 как о качестве инфраструктуры. Он помогает клиентам и краулерам эффективно взаимодействовать с вашим сайтом. Он не превращает слабый контент в сильный.

404 Not Found: нормально, когда страницы больше нет

404 Not Found означает, что сервер не может найти запрошенный ресурс. Это не является автоматической SEO-катастрофой.

404 уместны, когда:

• страница удалена и не имеет замены
• плохая внешняя ссылка ведет на несуществующий URL
• пользователи ошибаются при вводе URL
• старые тестовые или staging-URL никогда не должны были существовать

Поисковые системы со временем удалят постоянные URL с 404 из индекса. Обычно именно этого вы и хотите.

Исправлять 404 нужно, когда они затрагивают значимые URL:

• страницы с ценными обратными ссылками
• URL, получающие заметный трафик
• важные страницы, случайно удаленные во время миграции
• внутренние ссылки, ведущие на отсутствующие страницы
• URL из sitemap, возвращающие 404

Не перенаправляйте каждый 404 на главную страницу. Это сбивает с толку пользователей и поисковые системы. Если есть релевантная замена — сделайте редирект. Если нет — верните 404 и покажите полезную страницу ошибки для людей.

410 Gone: сильнее, чем 404, но используйте осторожно

410 Gone означает, что ресурс намеренно удален и не ожидается к возвращению.

Для SEO 410 может быть полезен, когда вы хотите удалить URL более решительно:

• устаревшие юридические страницы
• удаленные профили пользователей
• удаленные спамные страницы
• устаревшие лендинги без замены

Поисковые системы могут воспринимать 410 как более сильный сигнал удаления, чем 404. На практике разница часто в скорости, а не в результате. И постоянные ответы 404, и 410 могут привести к деиндексации.

Используйте 410, когда уверены, что страница удалена навсегда. Если страница может вернуться, 404 или временная обработка могут быть безопаснее.

401, 403 и заблокированный доступ

401 Unauthorized означает, что требуется аутентификация. 403 Forbidden означает, что сервер понял запрос, но отказывает в доступе.

Для SEO эти коды обычно предотвращают нормальное сканирование и индексирование защищенного контента. Это нормально для приватных панелей, разделов аккаунта, staging-систем и платного контента, который не должен публично индексироваться.

Проблемы появляются, когда публичные страницы случайно возвращают 401 или 403 краулерам из-за:

• правил защиты от ботов
• неправильно настроенных firewall
• блокировок по странам
• правил CDN
• устаревших предположений об аутентификации
• staging-ограничений, перенесенных в продакшен

Страница, которая работает у вас после входа в аккаунт, может не работать для краулера. Всегда тестируйте как неаутентифицированный клиент.

429 Too Many Requests: контроль сканирования с последствиями

429 Too Many Requests сообщает клиентам, что к ним применено ограничение частоты запросов. Это может быть уместно, когда боты действительно перегружают вашу инфраструктуру.

Однако небрежное использование 429 может снизить активность сканирования. Поисковые системы могут замедлить запросы, если регулярно сталкиваются с rate limiting. Это может задержать обнаружение нового или обновленного контента.

Если вам нужно ограничение частоты, будьте точны. Избегайте случайной блокировки крупных поисковых краулеров. Используйте серверные логи, чтобы отличать агрессивный scraping от легитимного сканирования. По возможности возвращайте заголовок Retry-After, чтобы корректные клиенты знали, когда вернуться.

500, 502, 503 и 504: сигналы надежности

Семейство 5xx означает, что сервер не смог выполнить корректный запрос.

Распространенные примеры:

• 500 Internal Server Error
• 502 Bad Gateway
• 503 Service Unavailable
• 504 Gateway Timeout

Разовые ответы 5xx случаются. Короткая проблема во время деплоя обычно не катастрофична. Другое дело — постоянные ошибки 5xx. Они сообщают краулерам, что сайт ненадежен, и поисковые системы могут снизить частоту сканирования или временно удалить затронутые страницы, если не могут регулярно их получить.

503 Service Unavailable — правильный код для планового обслуживания, особенно с заголовком Retry-After. Он говорит: «Это временно; вернитесь позже». Возвращать 200 для страницы обслуживания хуже, потому что краулеры могут принять контент страницы обслуживания за содержимое самой страницы.

Если сбой затронул важные URL, контролируйте восстановление. Убедитесь, что исходные страницы снова возвращают 200, а не кешированные страницы ошибок, циклы редиректов или временные шаблоны обслуживания.

Цепочки и циклы редиректов заслуживают особого внимания

Редиректы — это нормально. Цепочки редиректов — устранимый долг.

Простой редирект со старого URL на новый URL — в порядке. Цепочка из пяти редиректов увеличивает задержку, тратит crawl budget и создает больше мест, где запрос может сломаться. Цикл хуже: клиент никогда не доходит до конечной страницы.

Для SEO-миграций ведите карту редиректов и тестируйте ее до запуска. Каждый выводимый из использования URL в идеале должен доходить до конечного назначения за один переход. После запуска проверяйте выборку старых URL, URL с высоким трафиком и URL с большим числом обратных ссылок.

Здесь также пересекаются производительность и SEO. Редиректы задерживают начало загрузки настоящей страницы. Если вы оцениваете пользовательский опыт вместе со сканируемостью, чтение отчета Lighthouse без паники поможет отделить серьезные проблемы загрузки от шумной диагностики.

Практический список приоритетов

Если вы аудируете коды статуса, не относитесь ко всем предупреждениям одинаково. Начните здесь:

1. Важные URL возвращают 5xx — сначала исправьте надежность сервера.
2. Индексируемые страницы возвращают неправильный статус — восстановите ожидаемые ответы 200.
3. Цепочки и циклы редиректов — упростите до редиректов в один переход.
4. URL из sitemap возвращают не-200 ответы — поддерживайте sitemap в чистоте.
5. Внутренние ссылки на 404 — исправьте навигацию и ссылки в контенте.
6. Паттерны soft 404 — перестаньте возвращать 200 для пустых или удаленных страниц.
7. Случайная блокировка краулеров — исследуйте неожиданные ответы 401, 403 и 429.

Цель — не сайт с нулем 404. Это нереалистично и часто не нужно. Цель — сайт, где каждый URL дает честный и последовательный ответ.

<!-- tool-cta:start -->

💡 Попробуйте это: Проверьте, какие коды состояния на самом деле возвращают ваши URL с помощью Redirect Checker, который показывает всю цепочку, видимую краулерами.

<!-- tool-cta:end -->

Простое правило выбора правильного кода

Если сомневаетесь, выбирайте код, который соответствует правде для пользователя:

• Страница существует и должна быть доступна: 200
• Страница окончательно перемещена: 301 или 308
• Страница временно перемещена: 302 или 307
• Страница больше не существует и не имеет замены: 404
• Страница намеренно удалена навсегда: 410
• Страница временно недоступна: 503
• Запрос заблокирован или приватен: 401 или 403

Поисковые системы хорошо справляются с обычным беспорядком в вебе. SEO-проблемы вызывает непоследовательность в масштабе: постоянные перемещения, помеченные как временные, удаленные страницы, притворяющиеся рабочими, нерешенные серверные ошибки и логика редиректов, которую никто не тестировал с последней миграции.

Коды статуса HTTP — не магические рычаги SEO. Это базовая семантика веба. Используйте их честно, и большая часть SEO-пользы последует сама.