Звонилка майл агент. Проблема с личным кабинетом

Здравствуйте, уважаемые читатели моего блога! В этой статье я расскажу о файлах.htaccess и robots.txt — как их грамотно настроить. Это крайне важные файлы, которые позволяют задать главное зеркало сайта (склеить домены с www и без), настроить индексацию страниц, создать редирект 301. Дополнительно рассмотрим порядок действий при переезде со старого домена на новый.

Файл.htaccess и главное зеркало сайта

Каждый интернет ресурс имеет два зеркала — с приставкой www и без нее. Чтобы поисковики не воспринимали эти зеркала как два разных сайта с одинаковым контентом, необходимо выбрать из них главное и настроить редирект 301 на него, со второго зеркала. Тогда оба зеркала поисковиками будут восприниматься как единое целое и не будет играть роли, на какое из них ссылаются сторонние сайты — редирект позволит автоматически перекидывать пользователя на нужный адрес. Для этого необходимо создать и настроить файл.htaccess. Дополнительно можно указать основное зеркало в Яндекс Вебмастер и Google — инструменты для веб-мастеров. Для поисковиков все равно, какое зеркало вы выберете основным, поэтому исходите из своих личных предпочтений.

Зайдите на ftp в корневую папку и проверьте наличие файла.htaccess. Файл является скрытым, поэтому ftp клиенты могут его и не отображать. В ftp клиенте следует включит функцию «Принудительно отображать скрытые файлы» в разделе «Сервер».

Для редактирования или создания файла.htaccess можно воспользоваться любым текстовым редактором. Только при создании укажите имя.htaccess, не забыв про точку в начала. Пропишите в нем следующие строчки (или добавьте их к уже имеющимся):

Редирект 301 с зеркала www на без www:

Только не забудьте вписать свой URL адрес. После этого еще необходимо прописать директиву Host в фале robots.txt, о чем читайте в следующем пункте.

Robots.txt — настройка индексации страниц сайта

Файл robots.txt указывает поисковикам, какие страницы сайта им можно индексировать, а какие нельзя. Для его создания можно воспользоваться любым текстовым редактором, даже блокнотом. Так же как файл.htaccess, robots.txt следует загрузить на ftp в корневую папку. Теперь рассмотрим основные директивы, которые следует прописывать в robots.txt.

User-agent — в этой директиве прописываются поисковые боты, для которых действуют указанные ниже настройки. Если указать символ *, то настройки будут относится ко всем поисковикам:

После User-agent обязательно должна следовать директива Disallow или Allow .

Директива Disallow используется для запрета индексации всего сайта целиком или каких-то его страниц. Allow наоборот разрешает индексацию, в ней можно задавать исключения из правил, указанных в директиве Disallow.

Следует соблюдать следующие правила:

• Недопустимо наличие пустых строк между директивами "User-agent" и "Disallow" ("Allow"), а также между самими директивами "Disallow" и "Allow".
• Перед каждой новой директивой "User-agent" обязательно оставляйте пустую строку.
• После названия директивы ставьте.
• Allow и Disallow из соответствующего блока User-agent сортируются по длине URL (от меньшего к большему) и применяются последовательно. Если для данной страницы подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Этот пункт будет более понятен после рассмотрения примеров, приведенных ниже.
• при отсутствии параметров в директивах Allow и Disallow, индексация соответственно запрещается или разрешается для всех страниц сайта.

Теперь рассмотрим примеры, чтобы все стало более понятно.

Звездочка в директиве User-agent указывает на то, что приведенные ниже настройки относятся ко всем поисковикам. Отсутствие параметров в Disallow соответствует разрешению индексации всего сайта.

Это означает запрет индексации всех страниц, которые начинаются с «/indeksaciya», то есть /indeksaciya, /indeksaciya.html и другие. Символ $ позволяет отметить действие * , тем самым конкретизировать правило:

Для зеркала без www:

Порядок переезда со старого домена на новый

Переезд со старого домена на новый является частным случаем склейки зеркал сайта. Яндекс рекомендует два пути решения данной проблемы: через директиву Host в файле robots.txt или через настройку редиректа 301 со старого адреса на новый в.htaccess. Так как директиву Host понимает только Яндекс, то лучше подстраховаться и выполнить оба этих варианта.

1. Купите новый домен и хостинг.

2. Перенесите на новый сервер все содержимое своего интернет ресурса.

3. На старом сайте в файле robots.txt в директиве Host укажите новый URL адрес.

4. В файле.htaccess настройте редирект 301:

Не забывайте указывать именно главные зеркала — с приставкой www или без нее.

5. Склейка займет определенное время, на протяжении которого оба интернет портала должны быть доступны.

Всем привет! Сегодня подробный пост о том, как мне удалось сменить главное зеркало у блога и при этом не потерять позиции, трафик, доход от контекстной рекламы.

Долгое время меня мучил один вопрос — как избавиться от дурацкого , который тащился за мной более трех лет. Наверное возраст домена был главной причиной того, почему я не решался переклеить домен ранее.

Так сложилось, что с первых дней существования блога Яндекс начал индексировать блог именно с www, на тот момент мною было принято решение не препятствовать этому и смириться.

Позднее я себя не раз утешал, мол какая разница, главное что страницы находятся в поиске и приводят посетителей. Занимался продвижением, . И чем больше времени проходило, тем больше у меня чесались руки сменить основное зеркало. В конце концов мое терпение лопнуло и ни смотря ни на что я все же решился. Сегодня я поделюсь своим опытом и расскажу как это было.

Правильный порядок действий при склейке зеркал

На протяжении всего времени я вел заметки , которые постоянно носил с собой и записывал все значимые события в хронологическом порядке. Итак, начало сентября, я ставлю перед собой цель сменить главное зеркало домена и убрать www из адреса.

6.09.2013 Обращаюсь в службу поддержки Яндекс.Вебмастер с письмом, в котором описываю ситуацию и прошу дать советы. Я задал вопросы о том как правильно переклеить домен и чтобы при этом страницы не выпали из индекса. Так как мой блог , то посчитал не лишним обратиться в его поддержку и поинтересовался как отразится смена главного зеркала на присутствие в каталоге. Вскоре получил ответ:

«В данном случае Вам необходимо сменить главное зеркало с помощью директивы Host, дождаться завершения процесса переклейки, затем адрес в Каталоге изменится автоматически. ТИЦ также будет перенесен на адрес нового главного зеркала и восстановлен по этому адресу после ближайшего к переклейке пересчета тИЦ.»

9.09.2013 Получил ответ от Платона Щукина на первое письмо:

«Редирект для смены главного зеркала использовать не стоит. В настоящее время указанные Вами сайты объединены в группу зеркал, в которой главным зеркалом является домен с www согласно текущим указаниям. В поисковой системе Яндекс индексируются и участвуют в поиске только страницы главного зеркала..сайт, то для начала его нужно снять. Оставить редирект в существующем виде и указать в качестве главного зеркала домен без www не получится, так как тогда заданные Вами указания на главное зеркало будут противоречить друг другу. Если просто поменять направление редиректа, то это в конечном итоге приведет к смене главного зеркала, но в этом случае следует понимать, что робот не будет индексировать страницы текущего главного зеркала, а будет переходить по редиректу. В свою очередь, цель редиректа также не будет индексироваться, поскольку является неглавным зеркалом, которое в поиске не участвует.

Поэтому, если Вы хотите, чтобы до переклейки зеркал Ваш сайт мог индексироваться по адресу текущего главного зеркала, установленный редирект следует снять. Для смены главного зеркала лучше использовать директиву Host в файлах robots.txt всех зеркал, а также выбрать нужный домен в соответствующем разделе Яндекс.Вебмастера. Этого будет вполне достаточно, при этом Вы избежите проблем с индексированием сайта из-за перенаправления на неглавное зеркало.

Таким образом, самый оптимальный способ избавиться от префикса www — убрать редирект, сменить главное зеркало с помощью директивы Host и в Яндекс.Вебмастере, а затем, когда главное зеркало изменится, вернуть редирект при необходимости. Что касается Яндекс.Каталога и Яндекс.Метрики, то данные в них обновятся автоматически, заново ничего добавлять не придется. Обратите внимание, процесс склейки зеркал происходит автоматически и может занимать несколько недель, ускорить его, к сожалению, нельзя.»

С 20 марта 2018 года Яндекс официально прекратил поддержку директивы Host. Её можно удалить из robots.txt, а если оставить, то робот её просто игнорирует.

Очень подробный ответ, за что огромное спасибо поддержке Яндекса! Буквально сразу же приступил вносить изменения:

• Сменил главное зеркало в панели Яндекс.Вебмастер, указав адрес без www;
• Изменил директиву Host для Яндекса;
• Изменил основной домен в панели для веб-мастеров Google;
• Убрал редирект из файла.htaccess;
• Добавил новые в панели вебмастеров Гугла и Яндекса;
• Исправил ссылки в основном меню и в сайдбаре, чтобы поисковые боты как можно раньше заметили изменения.

Скриншот из панели Яндекс.Вебмастер. В разделе Настройка индексирования есть пункт Главное зеркало — здесь нужно указать предпочтительный домен:

Скриншот из панели инструментов для веб-мастеров Гугла. Настройки сайта скрываются под шестеренкой. Здесь необходимо указать основной домен:

Процесс запущен! Попутно записал для истории основные показатели блога:

• ТИЦ 130 (последний апдейт 02.07.13)
• PR 2 (последний апдейт 04.02.13)
• Проиндексированных страниц в Google (по данным RDS Bar) — 187
• Проиндексированных страниц в Яндексе — 241

10.09.2013 Вчера я несомненно проверял ответ сервера обоих зеркал и он содержал код 200, как посоветовал сделать Платон Щукин. Но сегодня утром, придя на работу, решил вновь проверить что все в порядке и был удивлен. Видимо на домашнем компьютере ответ сервера был , а сейчас выдает 301 код при обращении к старому адресу с www. Как оказалось, у WordPress заложен собственный редирект, учитывающий настройки адреса сайта в админке.

Нужно было срочно найти решение как отключить это перенаправление. На помощь пришел один из зарубежных форумов, на котором было найдено решение, путем добавления в файл wp-config.php следующих строк:

define("WP_HOME", "http://" . $_SERVER["HTTP_HOST"]); define("WP_SITEURL", "http://" . $_SERVER["HTTP_HOST"]);

Дополню пару слов зачем нужно убирать редирект. Причина в том, что Яндекс должен иметь доступ к обоим зеркалам. Если с одного зеркала стоит перенаправление на другое, то как в таком случае робот зеркальщик определить что сайты идентичны друг другу? Вот-вот…

Это основная , в результате которой в процессе переклейки сайт полностью выпадает из индекса и продолжительное время не участвует в поиске. А цель редиректа он не индексирует по причине того, что в выдаче отечественного поисковика может находиться только главное зеркало, а переклейка еще не произошла. Замкнутый круг.

Поэтому чтобы избежать подобной участи запомните: никогда не ставьте редирект на новое зеркало и снимите существующий до полной склейки/переклейки зеркал в Яндексе, о чем будете уведомлены сообщением!

Далее приступил править все свои ссылки на главную страницу, встречающиеся в записях и комментариях. Сначала было дело решил все сделать вручную, но понял что не справиться с таким объемом. Рискнул и воспользовался SQL запросом к базе данных:

UPDATE wp_comments SET comment_author_url = REPLACE(comment_author_url, "www..ru")

13.09.2013 Апдейт Яндекс выдачи. Никаких подвижек по зеркалам не наблюдается. В Гугле тоже тишина, хотя много раз перечитывал на форумах, что он реагирует на изменения практически мгновенно и буквально на следующий день можно обнаружить в поиске новые адреса. Продолжаю томительное ожидание.

19.09.2013 Очередной — все без изменений. Убеждаюсь в том что правильно сделал, убрав редирект. Иначе страницы давно бы уже выпали из поиска, а вместе с ними бы и трафик серьезно просел и доход скатился до нуля.

20.09.2013 В Google Webmasters Tools начала появляться информация о внутренних и внешних ссылках по новому домену, ранее данные были недоступны.

26.09.2013 И снова апдейт выдачи. В индексе Яндекса несколько дублирующихся страниц с www и без. Этот же день принес АП ТИЦ, который прибавил десятку, стало 140. В Яндекс Каталоге домен переклеился на новый основной — наконец-то начались подвижки.

27.09.2013 Сервис xseo.. Вечером того же дня другой сервис cy-pr.com также подтвердил склейку.

1.10.2013 Яндекс сделал отличный подарок на мой день рождения в виде апдейта поисковой базы, а также сменил главное зеркало , ура! Ровно в 8 утра пришло письмо от Яндекс.Вебмастера, точнее писем было два:

1. Изменилось главное зеркало. В письме было сообщено о том, что www..ru и поэтому в списке сайтов он был автоматически заменен.
2. Права на сайт успешно подтверждены. Здесь все просто, раз сменилось главное зеркало, то изменился и адрес сайта. А так как файл подтверждения уже находился на сервере, то никаких дополнительных действий с моей стороны не потребовалось.

2.10.2013 Google не спешит менять основной домен, его инструмент в панели вебмастеров похоже не столь эффективен или он меня недолюбливает… Впрочем, у нас эти чувства взаимны. Ставлю , а в файле wp-config.php удаляю ранее добавленные строчки. По Яндексу зеркала переклеились, поэтому уже не страшно за индексацию, а Гугл нормально относится к 301 редиректу.

7.10.2013 Да неужели? Xseo.in показывает склейку по Гуглу. Хотя в его выдаче примерно 50/50 страниц в www и без него, многие страницы продублированы. Судя по графикам сканирования Googlebot активно шерстит блог. По серверным логам видно, что сначала робот загружает страницу по старому адресу, получая 301 ответ, а затем подхватывает цель редиректа с кодом 200.

Посещаемость блога упала на 50%, вот и приехали, случилось то, чего так сильно опасался. Хотя она и снижалась с первых дней моего эксперимента, но происходило это плавно, а в этот день наблюдал резкий спад. Надеясь на лучшее, продолжаю ожидать и следить за процессом, говорят, время лечит.

9.10.2013 Правду говорят люди, время действительно творит чудеса! В этот день произошло очередное обновление поисковой базы Яндекса. Все возвращается на круги своя, наблюдаю рост трафика примерно на 30%. Как ни странно, но спустя месяц Гугл по-прежнему не может разродиться и окончательно сменить основной домен. Не ожидал от него такого.

12.10.2013 Хм… , однако! Спустя месяц впервые публикую новую запись (до этого ничего не публиковал в ожидании склейки) и о чудо! К вечеру из выдачи Гугла пропали все страницы, содержащие префикс.

Ну вот, я наконец-то собрался и полностью изложил свою историю со всеми подробностями. На сегодняшний день могу с уверенностью сказать, что смена главного зеркала проведена успешно, результатом я очень доволен. Надеюсь мой опыт поможет многим из Вас! 🙂