Недоступность веб-сайта

Часто возникает вопрос, может ли недоступность сайта во время сканирования поисковым роботом плохо сказаться на видимости сайта в результатах поиска поисковика. Иногда сайт бывает недоступен по техническим причинам, например, когда он закрыт на обслуживание или редизайн.

Подобные ситуации, не обозначенные должным способом, могут негативно повлиять на репутацию сайта. Индексирование или ранжирование сайта в таком случае не гарантировано, но существуют методы, которые позволяют справляться с запланированным простоем веб-сайта без отрицательного действия на его видимость в результатах поиска.

Например, при запросе страницы сайта вместо возврата кода статуса HTTP 404 (Не найдено) или показа ошибки на веб-странице с кодом статуса 200 (OK), лучше всего возвратить код статуса 503 (Сервис недоступен), который сообщает поисковику, что простой временный. Более того, это позволяет веб-мастерам предоставлять посетителям и ботам информацию о том, когда веб-сайт восстановит свою работу.

Если известны продолжительность простоя в секундах или предположительные дата и время завершения простоя, то они могут быть указаны в поле заголовка Retry-After, используемом поисковым роботом для определения подходящего момента переиндексации URL.

Ответ сервера кодом состояния 503 может быть хорошим решением и в других ситуациях. Хорошей практикой считается возвращать код состояния 503 «Сервис недоступен» для ошибок сервера, недоступности сайта, перерасхода трафика или страниц-заглушек (в том числе и «Сайт закрыт на реконструкцию»). На случай запланированных простоев сервера, таких как ремонт аппаратного обеспечения, стоит иметь отдельный сервер, который бы возвращал код 503.

Тем не менее, важно не относиться к коду статуса 503 как к постоянному решению проблемы: продолжительная выдача 503 может рассматриваться как знак, что сервер стал постоянно недоступен, в результате чего URL  может быть удалён из индекса поисковой системы.

Так может выглядеть информация в header-e при использовании PHP, если Вы настроите ответ 503 (Сервис недоступен).

header  ('HTTP/1.1 503 Service Temporarily Unavailable');
header  ('Retry-After: Sat, 8 Oct 2011 18:27:00 GMT');

Подобно тому, как можно сделать страницы 404 более полезными для пользователей, следует также правильно настроить сообщения 503, объясняющие пользователям текущую ситуацию и предоставляющие им информацию о том, когда сайт снова будет доступен.

Для того, чтобы избежать проблем с индексацией сайта в поисковых системах во время проведения технических работ или его временной недоступности, советуем предварительно настроить сообщение 503 соответственно рекомендациям выше