Как склеить домены правильно – с www и без

Обычно, перед началом продвижения я всегда смотрю какое зеркало сайта Яндекс считает главным – www.domain.ru или domain.ru (сделать это можно, набрав в поиске Яндекса адрес домена – как выдаст, так и индексирует).

Этого мне обычно хватало, что бы начинать закупать ссылки на нужное зеркало домена. Но как-то мой собственный сайт, который пару лет жил в индексе без www, стал индексироваться как www.сайт.ru и количество посетителей с Яндекса на нем заметно уменьшилось. Через некоторое время на одном клиентском сайте случилась такая же беда. Тут уже ясно – это тенденция, и надо что-то делать, что бы такого не было в дальнейшем.

Почему возникает такой эффект с поисковым трафиком? Я думаю, это из-за того, что основная масса ссылок на сайт стоят без www (или наоборот, с www), а основным зеркалом, из-за не правильной склейки, становится вариант с www (или без), на который почти нет внешних ссылок. Такой сайт лишается важной составляющей в ранжировании выдачи – ссылочного ранжирования. Как же правильно склеить домены?

Каждый владелец сайта может давать инструкции роботам поисковых систем, используя для этого чудо-файл robots.txt. Этот файл должен располагаться в корне вашего сайта (там же, где index.php(html), на многих хостингах это папка public_html). Если его там нет, вы всегда можете создать его с помощью текстового редактора. Минимальным его содержимым должно быть

Эти инструкции разрешают всем поисковым системам индексировать все содержимое сайта. Если у вас в robots.txt уже что-то есть, то не стоит там что-то редактировать, без четкого понимания того, что делаете. На тему инструкций в правильный Robots.txt написано много, все это всегда можно посмотреть, набрав простой поисковый запрос. Мы же сейчас не о файле в целом, а о выборе основного зеркала для сайта.

Для задания главного зеркала сайта служит директива Host, правда, понимает её только Яндекс, поэтому в robots.txt необходимо создать раздел для Яндекса (причем, дирректива Host должна идти ОБЯЗАТЕЛЬНО после дирректив Allow/Disallow):

User-agent: Yandex
Disallow:
Host: antonblog.ru

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: antonblog.ru

Что бы склеить домен в google, необходимо установить 301-й редирект, переправляющий все на нужный вариант домена (с www или без), редирект перенаправляет как пользователей, так и поисковые системы. Что бы установить 301-й редирект, в ваш файл .htaccess нужно добавить такую конструкцию (если у вас нет такого файла, его нужно создать, это обычный текстовый файл):

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www.antonblog.ru
RewriteRule ^(.*)$ http://antonblog.ru/$1 [R=permanent, L]

Antonblog.ru нужно заменить на ваш домен. Такой редирект будет показывать гуглу, что главным является зеркало сайта без www.

ВАЖНО! Сначала нужно склеить домены в Яндексе, и только потом ставить редирект для Гугла, в противном случае ваш сайт может совсем выпасть из Яндекса…