Инструмент удаления URL. Как удалить страницу из поисковой системы Яндекс

Практически каждый вебмастер, особенно на начальном этапе создания проекта, сталкивался с необходимостью удаления страниц веб-сайта из индекса поисковиков. Даже не взирая на то, что процедура, на первый взгляд, довольно простая, у многих все же возникают трудности.

Порой владельцу веб-ресурса приходиться скрывать документ от поисковиков по следующим причинам:

• сайт находится в стадии разработки и попал в выдачу совершенно случайно;
• контент на странице больше неактуален;
• документ дублирует другую страницу, которая уже есть на сайте;
• в индекс попали служебные страницы, где размещены личные данные клиентов.

Во избежание таких случаев, сегодня мы поговорим о 4 эффективных способах удаления страницы из индекса поисковых систем.

Как закрыть страницу от поисковиков с помощью панели вебмастера?

Данный метод закрытия доступа к страницам вашего сайта для поисковых роботов считается одним из самых легких. Причем этот инструмент идеально подходит для тех случаев, когда определенные URL нужно удалить срочно.

Yandex

Для этого вам понадобится сервис Яндекс.Вебмастер . Как добавлять сайт на эту площадку для ускорения индексации, мы рассказывали . Перейдите по ссылке https://webmaster.yandex.ru/tools/del-url/ и добавьте в соответствующее поле адрес конкретной страницы, затем нажмите «Удалить».


С большой долей вероятности Yandex попросит вас ускорить процесс удаления страницы из базы данных системы. Для этого вам нужно предварительно закрыть ее от ботов через файл либо мета-тег robots, или сделать так, чтобы сервер выдавал ошибку 404. Про то, как это сделать, мы поговорим чуть позже.

Понадобится несколько часов или даже дней, прежде чем боты удалят документ из базы. Это связано с тем, что системе нужно будет отслеживать его статус и убедиться, что он уже не изменится.

Google

Авторизируйтесь на площадке Google Webmaster Tools . Предварительно добавьте свой сайт в индекс, если вы еще этого не сделали. Затем найдите там вкладку «Индекс Google», и под ним «Удалить URL адреса». В появившемся окне выберите опцию создания запроса на удаление, и укажите в поле адрес удаляемого документа. Затем отправьте запрос.

Ошибка 404 на сервере

Наверняка каждый пользователь, ища нужную информацию в Интернете, попадал на страницу, где выдавало ошибку 404 – «Страница не найдена» . Это значит, что искомый по вашему запросу документ был удален с ресурса.

Сделать это вебмастер может в панели управления сайтом, например, . Для поисковиков это означает, что вы настраиваете ответ сервер этой страницы так, чтобы на определенном адресе появился код 404 not found . И когда робот снова посетит данный URL, сервер сообщит ему, что страницы больше нет. Это дает понять поисковикам, что документ удален с сайта, и они уберут его из поисковой выдачи, чтобы посетители не заходили на него и не читали ошибку 404.

К характерным особенностям данного способа можно отнести:

1. Простую настройку всего за несколько кликов.
2. Полное исчезновение документа из веб-ресурса. Из-за этого не рекомендуется использовать данный метод в случае, когда из индекса нужно убрать служебную страницу (конфиденциальную информацию клиентов и пр.).
3. Также стоит прибегнуть к другому варианту скрытия страницы, например, 301 редирект, если на нее ведут входящие ссылки.

Важно! Страница выпадает из поискового индекса не за счет ее удаления с ресурса, а за счет дальнейшей переиндексации. Поэтому для ее удаления вам придется ждать около 2ух недель, пока бот вновь не посетит ресурс.

Для вебмастеров такой метод является одним из самых удобных, а вот посетителю ошибка 404 может не понравиться, и есть риск того, что пользователь, увидев ее, перестанет заходить на сайт. Но выход есть и из этой ситуации.

На заметку. Очень часто сайтостроители занимаются интересным оформлением страницы, на которой вылетает ошибка 404 not found. Они выкладывают туда полезную информацию и предлагают посетить другие страницы ресурса, которые непременно привлекут внимание посетителя. Так вы сделаете эту страницу более привлекательной для пользователя, что непременно положительно скажется на его рейтинге и узнаваемости.

Изменение файла robots.txt

Еще один распространенный метод, к которому прибегают вебмастера. Он позволяет скрыть отдельные документы и целые разделы. В файле robots вы можете не только запретить, но и разрешить поисковым ботам индексировать сайт или определенные страницы. Подобные команды обеспечиваются применением директивы Disallow.

Для скрытия страницы от поисковых машин, вам нужно получить доступ к корневой папке сайта. В документе robots.txt в основном содержатся 2 строки:

1. User- agent. Здесь указывается имя робота определенного поисковика, которому вы запрещаете сканировать страницу, или же прописывается код User-agent: * , применимый сразу для всех ботов.
2. Disallow. Тут прописывается URL удаляемой страницы.

Вместе они создают команду для поисковых машин, касающуюся указанного URL. Если требуется, вы можете в одном файле скрыть сразу несколько документов на одном ресурсе, и они никак не будут влиять друг на друга.

Например, вот так мы укажем всем поисковым роботам, чтобы они не индексировали страницы index и password на нашем сайте

User-agent: * Disallow: /index Disallow: /password

Когда вы пропишите данную команду, нужно будет ждать следующей индексации. Вам стоит знать, что все изменения в файле robots несут для поисковиков рекомендательный характер, поэтому не удивляйтесь, если объект по-прежнему останется в индексе, но с пометкой о скрытии через robots.txt. Но если через определенный промежуток времени статус документа не изменится, он все же будет удален из базы данных поисковых систем.

Важно! Если на удаленных страницах есть внешние ссылки, то они останутся доступными для перехода именно по ним. Это связано с тем, что команды в файле robots не удаляют объект из поисковой выдачи фактически, а лишь скрывают его из результатов.

Мета-тег Robots

Если не вдаваться в подробности, то этот способ аналогичен вышеуказанному, вот только все команды прописываются в html-коде сайта внутри тегов head:

Все изменения также будут произведены после индексации. Преимущество использования мета-тега robots заключается в том, что посредством него из поиска можно удалить множество URL без необходимости изменения самого файла robots. Данный способ идеально подходит для начинающих сайтостроителей, которые постепенно создают новые страницы.

Также это отличный вариант тогда, когда вам нужно закрыть страницу от индекса Яндекса, но при этом оставить ее доступной в Google. Или же когда вы хотите удалить объект из поиска, но оставить информацию доступной на самом сайте.

Пример закрытия URL только для Яндекса:

Важно! Прописывание мета-тегов отличается от изменения robots.txt тем, что с их помощью вы сможете удалить объект из поиска, даже если на него ведут внешние ссылки. Этому способствует мета-тег noindex. Однако если ваш сайт создан не на базе WordPress, то процедура будет более сложной. Дело в том, что в WP есть специальный плагин Yoast SEO, который и позволяет удалять страницы мета-тегами.

Заключение

Если у вас вдруг появилась необходимость удалить отдельную страницу своего сайта из поискового индекса, вы с легкостью можете воспользоваться всеми указанными в данной статье методами. Выбирайте тот, который для вас более удобный, но при этом учитывайте характерные особенности каждого из них. Вообще, если вы хотите закрыть документ в максимально кратчайшие сроки, используйте сразу несколько вариантов.

Привет, друзья! Надеюсь, что вы отлично отдохнули на майские праздники: наездились на природу, наелись шашлык и нагулялись по расцветающей природе. Теперь же нужно возвращаться к активной работе =) .

Сегодня я покажу результаты одного небольшого эксперимента по удалению всех страниц сайта из поисковых систем Яндекса и Google. Его выводы помогут при выборе одного из методов для запрета индексирования всего ресурса или отдельных его частей.

Передо мной встала задача - закрыть сайт к индексированию без потери его функционала. То есть ресурс должен работать, но удалиться из индекса поисковых систем. Конечно, самый верный способ просто удалить проект с хостинга. Документы будут отдавать 404-ошибку и со временем "уйдут" из базы поисковиков. Но задача у меня была другая.

• определить, какой метод запрета индексации приоритетней для поисковых систем;
• понаблюдать в динамике за скоростью ;
• собственно, удалить проекты из баз ПС.

В эксперименте участвовало 2 сайта (всем больше года). Первый: в индексе Яндекса 3000 страниц, Google - 2090. Второй: Яндекс - 734, Google - 733. Если не удалять ресурс с хостинга, то остаются 2 популярных варианта: тег meta name="robots" и запрет в robots.txt.

Для первого сайта на каждой странице была добавлена строка:

Для второго был составлен следующий robots.txt:

User-agent: *
Disallow: /

Эксперимент стартовал 14 декабря и продолжился до 9 мая. Данные снимались примерно на даты апдейтов Яндекса.

Результаты

Ниже графики динамики количества проиндексированных страниц. Сначала сайт №1 (метод удаления тег meta name="robots").

Как видно, поисковые системы вели себя примерно по одному сценарию. Но есть и различия. В Яндексе ресурс был полностью удален 10 февраля, когда в Google оставалось еще 224 страницы. Что говорить, спустя 5 месяцев там еще остается 2 десятка документов. Гугл очень трепетно относится к проиндексированным страницам и не хочет никак их отпускать .

Сайт №2 (способ запрета файл - robots.txt).

Здесь ситуация разворачивалась интереснее . Яндекс достаточно быстро (меньше чем за месяц) удалил все страницы. Гугл же за месяц выкинул из индекса около 100 документов, потом через месяц еще 200 и практически застыл на месте.

4 апреля мне надоело ждать и я поменял метод запрета с robots.txt на meta name="robots". Это принесло свои плоды - через месяц в базе Google осталось только 160 страниц. Примерно такое же количество остается и по сей день.

Примечателен еще один момент. Несмотря на то, что страницы из индекса удалялись достаточно долго, трафик с поисковиков начал падать значительно быстрее.

Получается, что ПС понимают, что вебмастер запретил ресурс или его документы к индексированию, но почему-то продолжают их там держать .

Выводы

1. Яндекс любит больше работу с robots.txt;
2. Google любит больше работу с meta name="robots". В связи с тем, что Гугл крайне не любит robots.txt, то универсальным будет именно способ с тегом. Совмещать методы нельзя, потому как, запретив ресурс в robots.txt, поисковый паук не сможет прочитать правила для meta name="robots".
3. Зеркало Рунета достаточно быстро удаляет документы при любом методе. Зарубежный поисковик делает это неохотно - очень тяжело добиться полного удаления из базы.

Вот такой получился небольшой эксперимент. Да, конечно, выборка совсем небольшая, но и она смогла подтвердить мои предположения. В прикладном плане это можно использовать, когда есть необходимость закрыть определенные документы для индексирования: предпочтительно использовать meta name="robots" вместо директив в robots.txt.

А какие наблюдения по этой теме есть у вас? Поделитесь своим опытом в комментариях !

По поводу выгрузки проиндексированных страниц, Яндекс наконец сделал то что и нужно было.

И вот теперь мы получили очень хороший инструмент с помощью которого можно получить очень интересную информацию.

Я сегодня расскажу об этой информации и вы сможете применить это для продвижения ваших сайтов.

Переходим в Яндекс.Вебмастер, в раздел «Индексирование»

И вот перед вам такая картинка(нажимайте, чтобы увеличить):

Эти данные исключённых страниц дают нам очень много информации.

Ну начнём с Редиректа:

Обычно редирект не таит в себе каких то проблем. Это техническая составляющая работы сайта.

Это обычный дубль страницы. Я бы не сказал, что это не настолько критично. Просто Яндекс из двух страниц посчитал более релевантной именно вторую страницу.

И Яндекс даже написал свой комментарий: Страница дублирует уже представленную в поиске страницу http://сайт/?p=390. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel=»canonical».

Это можно использовать следующим образом: Иногда вылетают страницы сайта которые вы продвигаете и наоборот встают в индекс их дубли. В данном случае нужно просто прописать канонический урл на обоих этих страницах на ту которую вы продвигаете.

После этого обе эти страницы добавляете в «Переобход робота».

Это та страница в мета-тегах которой прописан канонический урл на нужную страницу.

Тут как раз всё прекрасно и это обычный процесс работы сайта.

Тут также Яндекс пишет подсказку: Страница проиндексирована по каноническому адресу http://сайт/?p=1705, который был указан в атрибуте rel=»canonical» в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Обычно это происходит когда вы удалили какие то страницы, а редирект не поставили. Или 404 ошибку не поставили.

Какого то вреда для продвижения сайта это не даёт.

Ну и подходит к самому интересному. Недостаточно качественная страница.

Т.е. страницы нашего сайта вылетели из индекса Яндекса потом что они недостаточно качественные.

Безусловно это важнейший сигнал вашему сайту, что у вас глобальные проблемы с этими страницами.

Но не всё так однозначно как кажется.

Зачастую это страницы пагинации, поиска или другого мусора. И эти страницы правильно исключены из индекса.

Но иногда бывает, что из индекса исключают карточки товаров Интернет-магазина. Причём исключают тысячами. И это безусловного говорит о том, что с вашими страницами карточек товаров какие то серьёзные проблемы.

Я за неделю просмотрел многие Интернет-магазины и почти у всех есть подобное. Причём вылет страниц наблюдается по десятку тысяч.

Тут могут быть такие проблемы, что мы имеем несколько одинаковых страниц где товар просто разного цвета. И Яндекс считает, что это одна страница.

В данном случае тут или делать одну страницу с выбором цвета на одной странице или же дорабатывать другие страницы.

Но конечно стоит сказать, что это ГЛОБАЛЬНАЯ помощь для всех владельцев Интернет-магазинов. Вам дали ясно понять какие страницы у вас улетели и почему.

Тут нужно работать над качеством этих страниц. Может эти страницы дублируют другие, а может и нет.

Иногда на таких страницах элементарно отсутствует текст. А на некоторых отсутствует цена и Яндекс удаляет из индекса такие страницы.

А ещё я заметил, что если на странице карточки товара стоит статус «Товар отсутствует на складе», то такая страница тоже удаляется из индекса Яндекса.

В общем то работайте.

О других интересных фишках я расскажу в понедельник на своём семинаре —

Да и ещё. Многие знают такую траблу с Яндекс.Советником:

Т.е. вы заплатили за клик с Директа, а Яндекс.Советник уводит вашего оплаченного клиента на Яндекс.Маркет.

Это на самом деле вопиющий случай.

Как я понял Яндекс ничего менять не будет.

Ну хорошо, тогда поменяю я сам.

Этот Яндекс.Советник косается в первую очередь Интернет магазинов. А Интернет магазины стоят в первую очередь на движках: Битрикс, Джумла, Вебасист.

Так вот для этих движков я пишу блокиратор советника. Т.е. при установке на вашем движке этого плагина, на вашем сайте не будет работать Яндекс.Советник.

Всем кто придёт на мои семинар я позже скину эти плагины бесплатно.

Я выбрал наиболее популярные движки на которых стоят ИМ. Для сайтов услуг это не нужно. А вот для ИМ, самое то.

Если есть вопросы, то задавайте вопросы.

Как удалить страницу из индекса поисковых систем и вообще зачем это нужно? В этой статье мы рассмотрим все варианты и ответим на часто задаваемые вопросы.

Причин удалить страницу или страницы из индекса может быть много. Самыми распространенными являются:

• Страница является дублем (например, страницы site.ru/cat/stranica.html и site.ru/cat/stranica могут быть дублями). А как известно всем - дубли в индексе это зло, которое вредит сайту в целом.
• Страница перестала существовать (например, информация больше не актуальна).

Скорость удаления от нас не зависит. Максимальный срок где-то 60..90 дней. Средний срок удаления по моему опыту лежит в районе 25..35 дней. Если мы будем указывать в ручную через панель Яндекс Вебмастера или Google Вебмастера, что страницу нужно удалить, то процесс будет быстрее. Здесь самое главное, чтобы поисковый робот зашел на запрещенную страницу сайта, а далее он уже при обновлении индекса исключит ее из выдачи.

Способы удалить страницу из индекса

В рассмотренных ниже вариантах страница будет существовать (будет открываться для пользователей), но в индексе поисковиков мы ее запретим (удалим).

1. Через мета тег

Закрывать страницы от индексации с помощью robots.txt удобно тем, что можно сразу массово указать весь раздел или же запретить к индексации группу однотипных страниц. Однако поисковые системы четко говорят, что для них файл роботс не является обязательным в плане выполнения. Т.е. поисковая система в теории может оставить в индексе документ, который закрыт в роботс. Правда я таких примеров не знаю.

3. Через панель вебмастера поисковых систем

И в Яндексе и Google в панели вебмастера есть такая возможность. Однако если вы удаляете страницу подобным образом, то нужно понимать, что страница предварительно должна быть закрыта одним из выше описанных способов, иначе ничего не произойдет. Подобным удалением мы лишь намекаем поисковым роботам, что нужно обязательно зайти на эти страницы в ближайшем обходе.

3.1. Панель Яндекс Вебмастер

Адрес страницы - http://webmaster.yandex.ru/delurl.xml . Зайдя на эту страницу нужно просто указать в форме адрес страницы, которую вы хотите удалить из индекса.

3.2. Панель Google Вебмастер

Адрес страницы - https://www.google.com/webmasters/tools/ . Чтобы попасть на нужную форму выберите сайт из списка (если у вас несколько сайтов) и далее выберите вкладку "Индекс Google" -> "Удалить URL-адреса".

В гугле можно прописать сразу каталог URL-адресов (так же как в robots.txt).

4. Заголовки X-Robots-Tag

Этот способ используется только в Google. Запись о запрете должна находиться в http-заголовках:

X-Robots-Tag : noindex, nofollow

5. Через редирект или 404 ошибку

Удалить из индекса страницу можно также с помощью редиректа или возвращать со страницы 404 ошибку . В таком случае поисковые системы также удалять страницы из индекса.

Мы рассмотрели основные способы по удаление страницы из индекса. Как я уже писал выше скорость удаления в каждом случае разная. Но одно можно сказать точно - это не быстро. В любом случае это займет дней 5-7 минимум.

Ссылка "Сохраненная копия" на странице результатов поиска иногда позволяет узнать очень интересные вещи, которые были оперативно удалены с какого-либо сайта. Так бывает с новостями или какими-то спорными публикациями. Это особенность работы поисковых систем здорово радует посетителей сайта. Но теперь, выступая в роли администраторов, мы наоборот, заинтересованы в том, чтобы ненужные страницы, которые мы уже удалили со своего сайта, как можно скорее были удалены из результатов поиска. Опять-таки, рано или поздно это произойдет. Для того чтобы это произошло рано, используется форма "Удалить URL " ( рис. 4.3 ):

увеличить изображение Рис. 4.3. Форма удаления URL

Конечно, эта форма не гарантирует моментального удаления результата, но ускоряет его.

Проверить сайт

А есть ли вообще наш сайт в базе поиска? Ответ на этот вопрос даст страница "Проверить сайт " ( рис. 4.4 ):

увеличить изображение Рис. 4.4. Проверка сайта

Открывается обычная страница поиска, в которой подставлен шаблон rhost="ru.narod.v-rn"|rhost="ru.narod.v-rn.*" ( рис. 4.5 ):

увеличить изображение Рис. 4.5. Результаты проверки сайта

Этот шаблон нам уже знаком из первой Лекции. Сейчас наш сайт, который был только что создан, не найден в поисковой базе. Проверим сайт Интернет Университета Информационных технологий с помощью этой же формы. В строке запроса будет шаблон rhost="ru.intuit"|rhost="ru.intuit.*" ( рис. 4.6 ):

увеличить изображение Рис. 4.6. Результат проверки сайта ИНТУИТа

Сайт также находится в Яндекс.Каталоге , поэтому на странице результатов отображается соответствующаярубрика . Спустя некоторое время еще раз введем значения сайта v-rn.narod.ru. Сайт был проиндексирован и теперь отображается в базе ( рис. 4.7 ):

увеличить изображение Рис. 4.7. Проверка сайта после индексации

Заметим, что в данном случае, в качестве описания сайта выводится содержимое тега title. Поэтому на многих сайтах заголовки очень длинные, зачастую содержащие описание сайта.

Мои сайты

Раздел "Мои сайты" содержит перечень ресурсов, которые могут управляться Вами. Это своего рода отправная точка мониторинга своих сайтов. Поначалу список пустой, поэтому мы вводим адрес сайта и нажимаем на кнопку"Добавить" ( рис. 4.8 ):

увеличить изображение Рис. 4.8. Добавление адреса в разделе "Мои сайты"

Спустя некоторое время, после того как сайт будет проиндексирован, отчет будет содержать информацию об этом ( рис. 4.9 ):

увеличить изображение Рис. 4.9. Проиндексированный сайт в разделе "Мои сайты"

Глядя на этот список, возникает вопрос - а могу ли я таким образом добавить совершенно чужой сайт? Специально для предотвращения таких случаев сделана система проверки прав на управления. Она включает в себя предложение загрузить определенную информацию на ваш сайт. Если получится это сделать, то Яндекс будет считать вас владельцем сайта. Другими словами, владелец сайта может изменять его содержимое, что и проверит Яндекс.

В нашем случае мы авторизованы от имени пользователя [email protected], который автоматически является владельцем сайта v-rn.narod.ru. Поэтому никаких предложения проверить права на управления не возникает - мы автоматически получаем статус подтвержденных прав.

Под ошибками сайта понимаются случаи, когда поисковый бот не мог получить доступ к определенным страницам. Это могут быть и банальные несуществующие страницы (ошибки 404) или же ссылки на защищенные части сайта, которые запрещены для индексирования (см. далее файл "robots.txt" ).

Поле "Загружено страниц" отображает общее число страниц сайта, которые успел обойти поисковый бот Яндекса.

увеличить изображение Рис. 4.10. Информация о v-rn.narod.ru

Гиперссылка "Структура сайта" ведет на структуру, которую, опять-таки, видит Яндекс. Здесь отображаются только те подразделы, которые содержат более 10 страниц и занимают более 1% от общего числа. Поэтому реальная структура - та, которую мы могли видеть на локальном компьютере или на FTP, будет отличаться от представленной.

Файлы Sitemap - отличное средство указать приоритет индексации страниц для сайтов, содержимое которых часто обновляется. Например, большинство новостных лент содержат подразделы, на которых часто публикуются новости. Другие подразделы - архив, информация о сайте (или компании), список рассылок - обновляются реже. Быстрая индексация наиболее обновляемых материалов позволит отображать в поисковой выдаче актуальные данные, а значит, будет способствовать привлечению на ресурс новых посетителей. Для создания файлов Sitemap используется разметка XML, конкретные спецификации которой представлены наофициальном сайте .

Раздел "Индекс" содержит очень интересную информацию и инструменты ( рис. 4.11 ):

увеличить изображение Рис. 4.11. Раздел "Индекс"

В конце августа 2007 года Яндекс перестал поддерживать такие возможности, как поиск страниц, содержащих ссылку на данную, поиск слов, содержащихся только в текстах ссылок на данную. Они были удобны для использования как владельцами сайтов, так и""роботами" - программами, написанными с целью изучить ранжирование Яндекса и попытаться им манипулировать" . Поскольку такое манипулирование ухудшало качество поиска, то соответствующие инструменты были выключены. Так вот, а раздел"Индекс" позволяет все же просмотреть, какие внешние страницы ссылаются на подраздел вашего сайта с помощью инструмента"Внешние ссылки" . Другими словами, в какой-то мере прежняя функциональность доступна в этом сервисе.

Раздел "Запросы" позволяет видеть, по каким поисковым словам сайт оказывается в результатах поиска ( рис. 4.12 ):

увеличить изображение Рис. 4.12. Раздел "Запросы"

В еще одном инструменте для веб-мастеров - Яндекс.Метрике, который мы рассмотрим позже, есть дублирующие этот раздел средства.

Раздел "Инструменты" содержит, как это следует из названия, инструменты для проверки файлаrobots.txt и изменения регистра имени сайта в результатах поиска ( рис. 4.13 ):

увеличить изображение Рис. 4.13. Раздел "Инструменты"

Как правило, в любом сайте есть разделы, которые не должны индексироваться поисковыми системами. Это административные папки, персональные данные пользователей, рабочие материалы. Для того чтобы сообщать всем поисковым системам и Яндексу, в частности, что какие-то разделы обходить не нужно, используется помещение обычного текстового файла "robots.txt" в корневую директорию сайта, причем название файла должно быть точно таким. Например, на настоящем сайте этот файл лежит здесь:http://www.intuit.ru/robots.txt Мы видим его содержимое:

Disallow: /cgi-bin/

Disallow: /w2k-bin/

Disallow: /admin/

Disallow: /w2admin/

Disallow: /user/

Disallow: /diploma/

Язык этого файла довольно простой - это не какое-то программирование или даже не HTML-код. В данном случае для всех поисковых систем - "User-Agent: *" запрещено индексирование директорий cgi-bin, w2k-bin, admin и т.д. со всем их содержимым. Создадим свой собственный файлrobots.txt для нашего сайта. Для примера, запретим индексирование определенной папки. Идем в Мастерскую, и нажимаем на ссылку"Создать папку" ( рис. 4.14 ):

увеличить изображение Рис. 4.14. Мастерская, ссылка "Создать папку"

Название папки может быть совершенно произвольным, но придерживаясь определенных традиций, назовем ее admin ( рис. 4.15 ):

увеличить изображение Рис. 4.15. Создание папки "admin"

увеличить изображение Рис. 4.16. Мастерская, гиперссылка "Создать html-файл"

Вводим произвольное название файла, скажем, main.html ( рис. 4.17 ):

увеличить изображение Рис. 4.17. Создание html-страницы

А затем переходим к редактированию созданной страницы. Напишем, что это страница, которая не должна быть доступна для поисковых систем ( рис. 4.18 ):

увеличить изображение Рис. 4.18. Редактирование html-страницы

Конечно, все шаги, которые мы сейчас проделали - всего лишь использование функционала Мастерской. Точно такой же результат мы бы получили, если бы создали папку, затем страницу в программе Dreamweaver, а потом загрузили бы их через ftp. Главное то, что теперь по адресу http://v-rn.narod.ru/admin/main.html мы видим созданную страницу ( рис. 4.19 ):

увеличить изображение Рис. 4.19. Страница, которая будет скрыта от поисковых систем

Важное замечание - это страница совершенно доступна для всех пользователей. Она останется такой же и далее. Если же мы хотим, чтобы к ней получали доступ авторизованные пользователи, то эту задачу придется решать средствами веб-программирования. Но к запрету к индексации поисковыми системами это отношения не имеет.

Теперь запускаем блокнот, сохраняем файл "robots.txt" и вводим в него правило ( рис. 4.20 ):

Рис. 4.20. Правило для сайта v-rn.narod.ru

Осталось забросить этот файл в корневую папку сайта. Идем в Мастерскую, нажимаем на ссылку "загрузить файлы" ( рис. 4.21 ):

увеличить изображение Рис. 4.21. Мастерская, гиперссылка "Загрузить файлы"

увеличить изображение

Все готово. Возвращаемся к инструментам Яндекс.Вебмастер, переходим по ссылке "Анализ файла robots.txt" (см.рис. 4.13 ). При этом происходит загрузка содержимого файлаrobots.txt , который уже есть на нашем сайте. Оно выводится в верхнем поле страницы. Мы вводим адрес, который хотим проверить -v-rn.narod.ru/admin/main.html ( рис. 4.23 ):

увеличить изображение Рис. 4.23. Анализ файла robots.txt

Как мы и хотели, эта страницу не будет индексироваться - результат "запрещен правилом /admin/" ( рис. 4.24 ):

Рис. 4.24. Результат анализа файла robots.txt

Для анализа файла robots.txt всех сайтов - не только своего собственного, используетсяпубличная версия инструмента . Она работает даже для неавторизованных пользователей.

Инструмент "Регистр имени сайта" несомненно, оценят пользователи,которые любят писать адрес электронной почты как [email protected]. Он позволяет изменить адрес сайта в поисковой выдаче ( рис. 4.25 ):

увеличить изображение Рис. 4.25. Изменение регистра имени сайта

Разумеется, после изменения сайт по-прежнему будет доступен и по обычной ссылке типа v-rn.narod.ru.