Меню
ГлавнаяОшибки

Встречайте: мгновенная индексация страниц в Google. Как удалить страницу из индекса. От чего зависит скорость индексирования

Вопросы, связанные с индексацией сайтов, — "Как проверить индексацию сайта? Почему не все страницы сайта в индексе? Почему мой сайт так долго индексируется?" Их наиболее часто задают на Справочном форуме для веб-мастеров.

Индексирование — это сложный процесс занесения информации о URL и их содержимом в индексные таблицы поисковой системы. На него влияют различные факторы. Поэтому точно спрогнозировать дату (время) и количество проиндексированных страниц невозможно. Обычно если в Search Sonsole добавляется информация о новом сайте данные могут обновляться на протяжении десяти - двадцати дней. Раньше этого срока предполагать, что с сайтом что-то не так, не стоит.

Технические ресурсы Google значительные, но распределении их для индексирования все же имеет свои квоты. Полная индексация страниц сайта не гарантируется. Не стоит ожидать индексации всех страниц сайта ещё и по такой причине.

Мы уже, кажется, имеем контент, проиндексированный по другим URL. Почему мы также должны индексировать ещё эту страницу?
John Mueller,Google

Обязательно проверьте все ли важные и нужные страницы сайта разрешены к индексированию и поисковый бот имеет к ним нормальный доступ. Используйте инструмент Google Search Console под названием "Посмотреть как Googlebot". Также проверьте добавили ли вы в Google Search Console правильную версию сайта.

Возможно вы в Search Sonsole подтвердили «неправильную» версию вашего сайта. Вам нужно добавить сайт в Search Sonsole с правильным «http» или «https» протоколом & возможно с «www». Если вы добавляете альтернативную версию (например, добавив «http://example.com» когда ваш сайт индексируется как «http://www.example.com»), то мы не сможем показать все ваши данные .
John Mueller,Google

От чего зависит скорость индексирования?

Скорость индексирования сайта зависит от многих факторов, точные сроки не определены. Но для значительного ускорения добавления страниц в индекс можно использовать тот же инструмент "Посмотреть как Googlebot". В большинстве случаев после этого страница добавляется в индекс если не мгновенно, то очень быстро.


Помните для каждого сайта всё очень индивидуально. Частота заходов робота и количество запросов на один заход определяется автоматически.

Индексирование может сильно замедлиться, если:
- найдены ссылки на несуществующие страницы (идут повторные запросы этих страниц вместо сканирования других);
- найдены ссылки на страницы без содержания;
- слишком долгий отклик сервера (увеличивается пауза между запросами и уменьшается их количество, чтобы не создавать излишнюю нагрузку на сервер);
- CMS сайта генерирует в большом количестве разные ссылки на одно и то же содержание или на пустые страницы.

Почему страницы (сайт) исключены из индекса?

Первое, что нужно проверить, нет ли ошибки в настройке CMS или в заполнении файла robots.txt.

Иногда по невнимательности или по другим причинам веб-мастера в настройках CMS сайта забывают открыть доступ поисковым роботам. В результате в коде страниц сайта появляется мета-тег:

Это означает - не индексировать текст, но переходить по ссылкам.
Подобный случай относительно недавно комментировал Джон Мюллер (John Mueller).

Ваш сайт отдаёт (исполняет) x-robots-tag HTTP заголовок со значением none — это значит что этот URL не должен индексироваться. Вы можете это перепроверить, используя "Посмотреть как Googlebot" в Search Console или использовать следующую командную строку(команду):
$ curl --silent -I http://toddnetworks.ie/ | grep -iE "oboy?"
X-Robots-Tag: none Удалив (убрав) это (возможно это просто опция в Вашей CMS) и ещё раз добавив url через "Посмотреть как Googlebot" / "отправить в индекс ", всё должно заработать как нужно.
John Mueller,Google

Вторая причина — нарушение авторских прав. Проверьте ваш сайт в lumendatabase.org.
Третья причина — как не банально, ссылочный спам.
Обязательно прочитайте:



Проверить индексацию сайта можно разными способами и каждый из них дают разные результаты. В связи с этим возникает вопрос о точности оценки и на что ориентироваться.

Для этих целей многие веб-мастера используют оператор "site:". Но можно ли на него ориентироваться?

Можно сделать запрос "site:". Он показывает количество результатов очень приблизительно .
Но когда страниц на сайте не очень много, то можно просто домотать до последней страницы и уж все эти [страницы — прим.авт.] точно в индексе есть, раз выдаются.
Ринат Сафин, Google


В большинстве случаев количество результатов при использовании оператора "site:" почти соответствует значению проиндексированных страниц файла sitemap в Google Search Console.
Если вам нужны более надёжные результаты, прислушайтесь к мнению Андрея Липатцева в отношении использования оператора "site:".

Ориентируйтесь на количество проиндексированных страниц, указанное в разделе Статус Индексирования . Те цифры, которые Вы приводите, свидетельствуют только о количестве проиндексированных страниц, из числа помещённых в sitemap. Это не обязательно одно и то же.
Андрей Липатцев,Google


Андрея Липатцева на эту тему.

Раздел Статус Индексирования Google Search Console показывает количество проиндексированных страниц, но не показывает какие именно из них находятся в индексе. Будет ли доступна эта информация в Search Console неизвестно, но об интересе веб-мастеров к ней в Google знают.

Как удалить страницу из индекса

Многие веб-мастера считают что для этого достаточно закрыть страницу в robots.txt.
Это не выход. Такая страница будет и дальше индексироваться только в сниппете появится информация, что страница закрыта в robots.txt.
На самом деле в код такой страницы без блокировки её в robots.txt нужно добавить мета-тег:

В этой статье я хотел максимально подробно рассказать о том как ускорить и проверить индексацию сайта, как удалить страницу из индекса. Если есть вопросы, задавайте в комментариях.

индексация сайта, Google, SEO,

Google – это первый поисковик в мире. В каком бы регионе вы не продвигали сайт, вам обязательно нужно добавить его в этот поисковик. В этой статье я покажу, как добавить сайт в Google и добиться от него быстрой и правильной индексации.

А о том, как добавить сайт в Яндекс, вы можете узнать .

Как добавить сайт в Google

Запаситесь терпением, ведь все поисковые машины очень медлительны. На индексирование сайта уйдёт несколько недель. Это означает, что не нужно откладывать добавление сайта в поисковик. Если вы только создали сайт, и записей в нём ещё нет, то уже можете добавлять.

Чтобы добавить сайт в Google, у вас должен быть аккаунт в этом поисковике (если пользуетесь почтой Gmail, то считайте, что есть аккаунт, через него можно получить доступ ко всем инструментам Google). Сделайте следующие действия по порядку:

  1. Перейдите в инструменты вебмастера Google, которые находятся , и нажмите на кнопку «Добавить ресурс ». Введите адрес сайта, который добавляете, и нажмите кнопку «Продолжить ».

    Добавление сайта в Google

  2. Появится следующая страница, на которой необходимо подтвердить права на свой сайт. Есть несколько способов, но самый простой и удобный с помощью HTML-файла. Скачайте файл, который вам предлагается в п.1 инструкции Google, и закачайте его в корневой каталог вашего сайта. Если всё сделали правильно, то при клике по ссылке в п.3 в инструкции Google вы увидите содержимое этого сайта. Если нет, то страницу 404. Нажмите кнопку «Подтвердить ».

    Подтверждение прав на сайт

  3. Чтобы добавить сайт в Google и добиться правильной и быстрой индексации, необходимо показать поисковым роботам, где у вас . Для этого переходим в панель управления сайтом в инструментах вебмастера Google, нажимаем пункт «Сканирование » и выбираем подпункт «Файлы Sitemap ». Нажмите на кнопку «Добавление/проверка файла Sitemap » и введите в строке адрес до карты, например «ru/ sitemap. xml ». Обратите внимание, что домен сайта там уже написан, поэтому вводить нужно без него – «sitemap. xml ». Потом нажмите кнопку «Отправить файл Sitemap ». Если хотите проверить её перед этим на ошибки, нажмите «Проверить Sitemap ».

    Добавление карты сайта

Если вы сделали всё по этих пунктам, то считайте, что у вас получилось добавить сайт в Google. Теперь необходимо немного подождать, пока поисковик всё проиндексирует. Как правило, на это уходит 1-3 недели. Вы можете контролировать весь процесс индексации в

На первый взгляд кажется, что индексация сайта поисковым роботом Google — вещь рядовая, ничем не примечательная и не вызовет трудностей даже у новичков.

Однако на деле и у этого процесса имеется немало подводных камней и нюансов, о которых вы даже можете не знать, но которые необходимо учесть, чтобы получить достойный результат. Индексация — процесс весьма любопытный, и его качество зависит не от воли случая или прихоти поискового робота, но от вас самих, а именно — тех действий, которые вы совершите.

Также индексация — это необходимое условие для реализации маркетинговой программы в интернете. Конечно, это не самое важное звено, но, без сомнения, одно из первых. Без индексации своих лендингов или пройдя ее кое-как — вы обречены на провал.

Какими путями можно добиться более качественной индексации сайта — в статье ниже.

Особенности индексации в системе Google

Для начала определим, что же такое индексация, в чем суть этого процесса.
Поскольку Google является крупнейшей в мире поисковой системой, сосредоточимся прежде всего на его индексе.

Что такое веб-индекс?

Вы же знаете, что такое индекс, верно? Это перечень сведений, своего рода инструкция к тому, как найти ту или иную информацию. Один из простейших примеров индекса — алфавитно-предметный указатель в конце любого учебника.

Веб-индекс имеет немного отличий. Это база данных, то есть список всех материалов, размещенных в интернете, с указанием расположения каждого документа. Это свойство индекса и позволяет вам быстро получать те или иные материалы в сети.

Объем размещенных в интернете материалов невообразимо велик. Поэтому информация о каждом материале размещена в большой базе данных.

Представьте, что интернет — это гигантская библиотека, в которой размещены миллионы и миллиарды всевозможных книг (сайтов). Поисковая система Google и является индексом для этой библиотеки. К счастью, чтобы пользоваться этим индексом, вам не нужно знать, что такое десятичная классификация Дьюи и как ею пользоваться; достаточно лишь умения печатать.

При наборе запроса в поисковую строку системы и нажатии на кнопку «Поиск» вы осуществляете поиск именно по индексу. Страница с результатами — это страница индекса.

Как Google индексирует интернет?

Для того, чтобы суметь проиндексировать такую большую библиотеку, какой является интернет, вам нужно обладать мощнейшими инструментами. Эти инструменты называются «пауками» (от англ. — spider) или поисковыми роботами.

Почему именно пауки? Потому что они ползают с сайта на сайт, создавая, по сути, веб-информацию. Этот процесс называется выборкой (от англ. fetching). Пауки отбирают информацию, которая затем хранится в индексе Google.

Веб-спайдер заползает на один сайт, индексирует все доступные там страницы, переползает на следующий, индексирует его, и продолжает двигаться в том направлении, куда его направит цепочка из размещенных в сети ссылок.

Так и формируется всемогущий индекс.

Какого рода информацию сохраняет паук?

Спайдер пытается обозреть большую часть той информации, которая размещена на сайте, но он не в состоянии увидеть абсолютно все. В первую очередь он индексирует наиболее важную информацию.

Красная градиентная шкала — важность для поисковой машины; синяя градиентная шкала — важность для пользователя.
Сверху вниз: адреса страниц, тег Title, метаданные, теги изображений, заголовки, ссылки, контент.

1. Адреса страниц — URL (uniform resource locator — единый указатель ресурса).
2. Тег Title. Title — это название лендинга.
3. Метаданные. Описание сайта с набором ключевых слов.

Это тот самый набор главной информации, которую поисковый робот пересылает в индекс Google. И это именно та информация, которую вы видите на странице результатов поиска.

В этом заключается базовая идея. Очевидно, что больше трудностей возникает с поиском информации по индексу, ее грамотной организации и выдаче результатов.

Нас как веб-мастеров должны волновать другие проблемы, а именно — какие шаги нужно предпринять, чтобы поисковый робот Google как можно скорее заглянул к вам на сайт и занес информацию о нем в общую базу.

Что сделать, чтобы Google проиндексировал ваш сайт как можно быстрее?

Следует сказать, что независимо от того, сделаете ли вы что-либо из перечисленного ниже, Google, вероятно, и так проиндексирует ваш сайт, если только вы намеренно не закроете его от индексации (через файл robots.txt).

Но если вы оставите этот процесс на самотек, то попасть в индекс вы сможете через неопределенно долгое время. У кого-то сайт проиндексируется через 2 недели, а у кого — через 2 месяца. В ваших интересах, чтобы индексация лендинга произошла как можно раньше, а для этого и нужно предпринять некоторые специальные действия. Что именно нужно делать — читайте ниже.

Шаг №1: создайте карту сайта (sitemap)

Карта — это документ в XML-формате, который должен лежать в корневой папке вашего сайта. Поисковый робот обращается к этому документу, чтобы обозреть ваш сайт целиком, понять, какие страницы/разделы на нем самые главные и где расположен самый свежий контент. Карта сайта — это незаменимый и один из важнейших элементов успешной индексации.

Поисковый робот умен, но сайтмап ему необходим. Зачем? Без карты сайта индексация лендинга или нового материала может занять до 24 часов. Это слишком долго. С помощью карты сайта вы можете свести продолжительность этого процесса до нескольких минут. Согласитесь: существенная разница.

Чтобы доказать состоятельность этого положения, был проведен эксперимент, в ходе которого была замерена скорость, с которой индексируется сайт без sitemap и сайт с картой. Результаты более чем удивительные:

Индексация сайтов без sitemap. По вертикали: затраченное время в минутах, по горизонтали: число проиндексированных страниц.

Индексация сайтов при помощи sitemap. По вертикали: затраченное время в минутах, по горизонтали: число проиндексированных страниц.

После того, как вы создали файл sitemap, вы можете загрузить его в Google Search Console. Чтобы это сделать, выполните следующее:

  • на главной странице Google Search Console выберите свой сайт;
  • на панели в левой части экрана нажмите «Конфигурация сайта», а затем «Файлы Sitemap»;
  • в правом верхнем углу кликните по кнопке «Добавить/Протестировать карту сайта»;
  • введите /system/feeds/sitemap в появившемся текстовом окне;
  • нажмите «Отправить файл Sitemap».

Шаг №2: создайте файл Robots.txt

Robots.txt — это обычный файл вашего сайта, в котором содержатся инструкции для поискового робота: там указано, что индексировать, а что — нет. Это самая первая остановка, которую делает паук на вашем веб-ресурсе. Если ваш robots.txt как бы говорит «не индексируй меня», поисковый робот не станет ничего индексировать и поползет дальше. Поэтому очень важно, чтобы ваш robots.txt давал роботу Google неограниченное разрешение на обзор сайта.

Разумеется, если вы хотите, чтобы какие-то страницы сайта не появлялись в результатах поиска, вы можете ограничить к ним доступ.

Вот что говорит о robots.txt поисковая система Google:

«Большинство сайтов не имеет необходимости скрывать от поискового робота те или иные страницы, поэтому они будут появляться в поисковой выдаче без каких-либо дополнительных усилий. Robots.txt, наряду с другими инструментами веб-мастера, предоставляет владельцам веб-ресурсов неограниченные возможности в управлении индексацией сайта, поведением поискового робота на сайте. С помощью этого файла собственники интернет-ресурсов могут закрыть сайт от индексации роботом Google (иди других поисковых систем), дать какие-то специальные указания для индексации определенных страниц».

Вывод один: чем больше страниц вашего сайта открыты к индексации, тем лучше.

Шаг №3: Регистрация сайта в поисковых системах

Ранее считалось, для того, чтобы поисковая система проиндексировала сайт, веб-мастеру непременно нужно подать заявку, зарегистрировать ресурс в системе. Однако в настоящее время появляются такие умельцы поисковой оптимизации, которые и без регистрации могут выдвинуть сайты на первые страницы поисковой выдачи. Если вы таким умением пока еще похвалиться не можете, советуем вам все же зарегистрировать свой сайт во всех популярных поисковых системах. В Google вы можете сделать это через Google Search Console.

Шаг №4: сделайте внутреннюю перелинковку

Самый эффективный способ ускорить индексацию сайта — сделать внутреннюю перелинковку страниц сайта.

Маршрут, по которому поисковый робот перемещается в глобальной паутине, формируется посредством ссылок. Когда одна страница связана с другой, паук автоматически переходит и на нее. Ваша задача — убедиться, что все основные страницы сайта связаны друг с другом ссылками.

Если ваш сайт хорошо организован, внутренняя перелинковка произойдет естественным путем. Взгляните на этот пример стандартной архитектуры сайта ресторана: все основные страницы связаны друг с другом.

Чем больше страниц вы свяжете друг с другом, тем лучше. Как только вы публикуете на своем сайте новый материал, тут же добавляйте в него ссылки на другие страницы.

Шаг №5: повышайте свой индекс цитирования

Одно дело, когда вы создаете и размещаете ссылки на свой сайт внутри самого сайта, но другое — когда на вас ссылаются извне. Разумеется, чтобы попасть на страницы других сайтов, нужно выделиться чем-то необычным и полезным. Чем чаще о вас будут говорить другие, тем быстрее проиндексируется ваш сайт и тем выше он будет стоять в поисковой выдаче.

Шаг №6: поощряйте социальный обмен

Социальный обмен — это весомая часть эффективной индексации, поэтому щедро размещайте ссылки на свои материалы в социальных сетях. Так как Google и Twitter заключили партнерское соглашение, чтобы беспрепятственно делиться данными, Google может получить доступ к информации такого рода очень быстро, а вы улучшите индексацию своего сайта.

Шаг №7: заведите блог

Блог заставит вас создавать тонны интересного и полезного контента, а это крайне необходимо для высоких позиций в поисковой выдаче. Запомните: чем больше контента вы разместите в сети, тем .

Шаг №8: создайте RSS-канал

RSS-канал не обязателен, но и он не будет лишним. RSS (от англ. Rich Site Summary — обогащенная сводка сайта) — семейство XML-форматов, предназначенных для описания лент новостей, анонсов статей, изменений в блогах и т.п. Пожалуй, это один из самых простых способов оповещения об обновлениях сайта, блога и т.д., но на сегодняшний момент отчасти устаревший. Но даже так RSS-канал может быть эффективным способом донести до Google информацию о своем новом материале, как только он появился на вашем сайте.

Шаг №9: отслеживайте ошибки индексации

Ошибки и некоторые неточности в индексации сайта неминуемы. Обычно это происходит, когда вы вносите значительные изменения на сайт: добавляете, удаляете или перемещаете страницы.

Недавно поделился со мной наблюдением, что у многих сайтов, которые приходят к нам на аудит, часто встречаются одни и те же ошибки. Причем эти ошибки не всегда можно назвать тривиальными – их допускают даже продвинутые веб-мастера. Так возникла идея написать серию статей с инструкциями по отслеживанию и исправлению подобных ошибок. Первый в очереди – гайд по настройке индексации сайта. Передаю слово автору.

Для хорошей индексации сайта и лучшего ранжирования страниц нужно, чтобы поисковик обходил ключевые продвигаемые страницы сайта, а на самих страницах мог точно выделить основной контент, не запутавшись в обилие служебной и вспомогательной информации.
У сайтов, приходящих к нам на анализ, встречаются ошибки двух типов:

1. При продвижении сайта их владельцы не задумываются о том, что видит и добавляет в индекс поисковый бот. В этом случае может возникнуть ситуация, когда в индексе больше мусорных страниц, чем продвигаемых, а сами страницы перегружены.

2. Наоборот, владельцы чересчур рьяно взялись за чистку сайта. Вместе с ненужной информацией могут прятаться и важные для продвижения и оценки страниц данные.

Сегодня мы хотим рассмотреть, что же действительно стоит прятать от поисковых роботов и как это лучше делать. Начнём с контента страниц.

Контент

Проблемы, связанные с закрытием контента на сайте:

Страница оценивается поисковыми роботами комплексно, а не только по текстовым показателям. Увлекаясь закрытием различных блоков, часто удаляется и важная для оценки полезности и ранжирования информация.

Приведём пример наиболее частых ошибок:
– прячется шапка сайта. В ней обычно размещается контактная информация, ссылки. Если шапка сайта закрыта, поисковики могут не узнать, что вы позаботились о посетителях и поместили важную информацию на видном месте;

– скрываются от индексации фильтры, форма поиска, сортировка. Наличие таких возможностей у интернет-магазина – важный коммерческий показатель, который лучше показать, а не прятать.
– прячется информация об оплате и доставке. Это делают, чтобы повысить уникальность на товарных карточках. А ведь это тоже информация, которая должна быть на качественной товарной карточке.
– со страниц «вырезается» меню, ухудшая оценку удобства навигации по сайту.

Зачем на сайте закрывают часть контента?
Обычно есть несколько целей:
– сделать на странице акцент на основной контент, убрав из индекса вспомогательную информацию, служебные блоки, меню;
– сделать страницу более уникальной, полезной, убрав дублирующиеся на сайте блоки;
– убрать «лишний» текст, повысить текстовую релевантность страницы.

Всего этого можно достичь без того, чтобы прятать часть контента!
У вас очень большое меню?
Выводите на страницах только те пункты, которые непосредственно относятся к разделу.

Много возможностей выбора в фильтрах?
Выводите в основном коде только популярные. Подгружайте остальные варианты, только если пользователь нажмёт кнопку «показать всё». Да, здесь используются скрипты, но никакого обмана нет – скрипт срабатывает по требованию пользователя. Найти все пункты поисковик сможет, но при оценке они не получат такое же значение, как основной контент страницы.

На странице большой блок с новостями?
Сократите их количество, выводите только заголовки или просто уберите блок новостей, если пользователи редко переходят по ссылкам в нём или на странице мало основного контента.

Поисковые роботы хоть и далеки от идеала, но постоянно совершенствуются. Уже сейчас Google показывает скрытие скриптов от индексирования как ошибку в панели Google Search Console (вкладка «Заблокированные ресурсы»). Не показывать часть контента роботам действительно может быть полезным, но это не метод оптимизации, а, скорее, временные «костыли», которые стоит использовать только при крайней необходимости.

Мы рекомендуем:
– относиться к скрытию контента, как к «костылю», и прибегать к нему только в крайних ситуациях, стремясь доработать саму страницу;
– удаляя со страницы часть контента, ориентироваться не только на текстовые показатели, но и оценивать удобство и информацию, влияющую на ;
– перед тем как прятать контент, проводить эксперимент на нескольких тестовых страницах. Поисковые боты умеют разбирать страницы и ваши опасения о снижение релевантности могут оказаться напрасными.

Давайте рассмотрим, какие методы используются, чтобы спрятать контент:

Тег noindex

У этого метода есть несколько недостатков. Прежде всего этот тег учитывает только Яндекс, поэтому для скрытия текста от Google он бесполезен. Помимо этого, важно понимать, что тег запрещает индексировать и показывать в поисковой выдаче только текст. На остальной контент, например, ссылки, он не распространяется.

Поддержка Яндекса не особо распространяется о том, как работает noindex. Чуть больше информации есть в одном из обсуждений в официальном блоге.

Вопрос пользователя:

«Не до конца понятна механика действия и влияние на ранжирование тега текст. Далее поясню, почему так озадачены. А сейчас - есть 2 гипотезы, хотелось бы найти истину.

№1 Noindex не влияет на ранжирование / релевантность страницы вообще

При этом предположении: единственное, что он делает - закрывает часть контента от появления в поисковой выдаче. При этом вся страница рассматривается целиком, включая закрытые блоки, релевантность и сопряженные параметры (уникальность; соответствие и т. п.) для нее вычисляется согласно всему имеющему в коде контенту, даже закрытому.

№2 Noindex влияет на ранжирование и релевантность, так как закрытый в тег контент не оценивается вообще. Соответственно, все наоборот. Страница будет ранжироваться в соответствии с открытым для роботов контентом.»

В каких случаях может быть полезен тег:
– если есть подозрения, что страница понижена в выдаче Яндекса из-за переоптимизации, но при этом занимает ТОПовые позиции по важным фразам в Google. Нужно понимать, что это быстрое и временное решение. Если весь сайт попал под «Баден-Баден», noindex, как неоднократно подтверждали представители Яндекса, не поможет;
– чтобы скрыть общую служебную информацию, которую вы из-за корпоративных ли юридических нормативов должны указывать на странице;
– для корректировки сниппетов в Яндексе, если в них попадает нежелательный контент.

Скрытие контента с помощью AJAX

Это универсальный метод. Он позволяет спрятать контент и от Яндекса, и от Google. Если хотите почистить страницу от размывающего релевантность контента, лучше использовать именно его. Представители ПС такой метод, конечно, не приветствую и рекомендуют, чтобы поисковые роботы видели тот же контент, что и пользователи.
Технология использования AJAX широко распространена и если не заниматься явным клоакингом, санкции за её использование не грозят. Недостаток метода – вам всё-таки придётся закрывать доступ к скриптам, хотя и Яндекс и Google этого не рекомендуют делать.

Страницы сайта

Для успешного продвижения важно не только избавиться от лишней информации на страницах, но и очистить поисковый индекс сайта от малополезных мусорных страниц.
Во-первых, это ускорит индексацию основных продвигаемых страниц сайта. Во-вторых, наличие в индексе большого числа мусорных страниц будет негативно влиять на оценку сайта и его продвижение.

Сразу перечислим страницы, которые целесообразно прятать:

– страницы оформления заявок, корзины пользователей;
– результаты поиска по сайту;
– личная информация пользователей;
– страницы результатов сравнения товаров и подобных вспомогательных модулей;
– страницы, генерируемые фильтрами поиска и сортировкой;
– страницы административной части сайта;
– версии для печати.

Рассмотрим способы, которыми можно закрыть страницы от индексации.

Закрыть в robots.txt

Это не самый лучший метод.

Во-первых, файл robots не предназначен для борьбы с дублями и чистки сайтов от мусорных страниц. Для этих целей лучше использовать другие методы.

Во-вторых, запрет в файле robots не является гарантией того, что страница не попадёт в индекс.

Вот что Google пишет об этом в своей справке:

Метатег noindex

Чтобы гарантированно исключить страницы из индекса, лучше использовать этот метатег.

Ниже приведём вариант метатега, который понимают оба поисковика:

Важный момент!

Чтобы Googlebot увидел метатег noindex, нужно открыть доступ к страницам, закрытым в файле robots.txt. Если этого не сделать, робот может просто не зайти на эти страницы.

Заголовки X-Robots-Tag

Существенное преимущество такого метода в том, что запрет можно размещать не только в коде страницы, но и через корневой файл.htaccess.

Этот метод не очень распространён в Рунете. Полагаем, основная причина такой ситуации в том, что Яндекс этот метод долгое время не поддерживал.
В этом году сотрудники Яндекса написали, что метод теперь поддерживается.

Ответ поддержки подробным не назовёшь))). Прежде чем переходить на запрет индексации, используя X-Robots-Tag, лучше убедиться в работе этого способа под Яндекс. Свои эксперименты на эту тему мы пока не ставили, но, возможно, сделаем в ближайшее время.

Защита с помощью пароля

Если нужно скрыть весь сайт, например, тестовую версию, также рекомендуем использовать именно этот метод. Пожалуй, единственный недостаток – могут возникнуть сложности в случае необходимости просканировать домен, скрытый под паролем.

Исключить появление мусорных страниц c помощью AJAX

Речь о том, чтобы не просто запретить индексацию страниц, генерируемых фильтрами, сортировкой и т. д., а вообще не создавать подобные страницы на сайте.

Например, если пользователь выбрал в фильтре поиска набор параметров, под которые вы не создавали отдельную страницу, изменения в товарах, отображаемых на странице, происходит без изменения самого URL.

Сложность этого метода в том, что обычно его нельзя применить сразу для всех случаев. Часть формируемых страниц используется для продвижения.

Например, страницы фильтров. Для «холодильник + Samsung + белый» нам нужна страница, а для «холодильник + Samsung + белый + двухкамерный + no frost» – уже нет.

Поэтому нужно делать инструмент, предполагающий создание исключений. Это усложняет задачу программистов.

Использовать методы запрета индексации от поисковых алгоритмов

«Параметры URL» в Google Search Console

Этот инструмент позволяет указать, как идентифицировать появление в URL страниц новых параметров.

Директива Clean-param в robots.txt

В Яндексе аналогичный запрет для параметров URL можно прописать, используя директиву Clean-param.
Почитать об этом можно .

Канонические адреса, как профилактика появления мусорных страниц на сайте
Этот метатег был создан специально для борьбы с дублями и мусорными страницами на сайте. Мы рекомендуем прописывать его на всём сайте, как профилактику появления в индексе дубле и мусорных страниц.

Инструменты точечного удаления страниц из индекса Яндекса и Google

Если возникла ситуация, когда нужно срочно удалить информацию из индекса, не дожидаясь, пока ваш запрет увидят поисковые работы, можно использовать инструменты из панели Яндекс.Вебмастера и Google Search Console.

В Яндексе это «Удалить URL»:

В Google Search Console «Удалить URL-адрес»:

Внутренние ссылки

Внутренние ссылки закрываются от индексации для перераспределения внутренних весов на основные продвигаемые страницы. Но дело в том, что:
– такое перераспределение может плохо отразиться на общих связях между страницами;
– ссылки из шаблонных сквозных блоков обычно имеют меньший вес или могут вообще не учитываться.

Рассмотрим варианты, которые используются для скрытия ссылок:

Тег noindex

Для скрытия ссылок этот тег бесполезен. Он распространяется только на текст.

Атрибут rel=”nofollow”

Сейчас атрибут не позволяет сохранять вес на странице. При использовании rel=”nofollow” вес просто теряется. Само по себе использование тега для внутренних ссылок выглядит не особо логично.

Скрытие ссылок с помощью скриптов

Это фактически единственный рабочий метод, с помощью которого можно спрятать ссылки от поисковых систем. Можно использовать Аjax и подгружать блоки ссылок уже после загрузки страницы или добавлять ссылки, подменяя скриптом тег на . При этом важно учитывать, что поисковые алгоритмы умеют распознавать скрипты.

Как и в случае с контентом – это «костыль», который иногда может решить проблему. Если вы не уверены, что получите положительный эффект от спрятанного блока ссылок, лучше такие методы не использовать.

Заключение

Удаление со страницы объёмных сквозных блоков действительно может давать положительный эффект для ранжирования. Делать это лучше, сокращая страницу, и выводя на ней только нужный посетителям контент. Прятать контент от поисковика – костыль, который стоит использовать только в тех случаях, когда сократить другими способами сквозные блоки нельзя.

Убирая со страницы часть контента, не забывайте, что для ранжирования важны не только текстовые критерии, но и полнота информации, коммерческие факторы.

Примерно аналогичная ситуация и с внутренними ссылками. Да, иногда это может быть полезно, но искусственное перераспределение ссылочной массы на сайте – метод спорный. Гораздо безопаснее и надёжнее будет просто отказаться от ссылок, в которых вы не уверены.

Со страницами сайта всё более однозначно. Важно следить за тем, чтобы мусорные, малополезные страницы не попадали в индекс. Для этого есть много методов, которые мы собрали и описали в этой статье.

Вы всегда можете взять у нас консультацию по техническим аспектам оптимизации, или заказать продвижение под ключ, куда входит .

Чтобы понять, находится ли конкретная страница сайт в поиске и сколько вообще страниц вашего ресурса видят поисковые машины, нужно не так и много. Подробнее о том, как проверить индексацию сайта и получить нужную информацию, мы расскажем в этой статье. Сразу же отметим, что при сканировании сайта, роботы переносят все полученные сведения о ресурсе в отдельные базы. И далее уже поисковая система работает по этим базам. Однако отметим, что некоторые неопытные веб-мастера путают два понятия: сканирование и индексацию. Сканирование – это, по сути, изучение роботом сайта. На обход всего ресурса нужно не так уж и много времени. А вот индексирование – то есть, добавления информации о ресурсе в базы данных, занимает относительного много времени.

1) Как проверить индексацию сайта через панель управления в сервисе для веб-мастеров

Этот метод является основным. Для сервиса Google следует выполнить следующие действия:

  • перейти в панель управления сервиса;
  • выбрать вкладку Search Console;
  • после этого перейти в еще одну вкладку «Индекс Google»;
  • кликнуть по пункту Статус индексирования.

Для сервиса Яндекс последовательность действий будет следующей:

  • открыть Вебмастер;
  • найти пункт Индексирование сайта;
  • выбрать строку Страницы в поиске.

Также можно пойти по другой последовательности вкладок – после Индексирования сайта кликнуть на вкладку История, а уже там кликнуть на вкладку Страницы в поиске. Это позволит вам отследить, как меняется количество проиндексированных страниц.

Такой способ проверки доступен только тем веб-мастерам, для которых в панели инструментов сервиса открыт соответствующий доступ.

На картинке ниже представлен график хорошо проиндексированного сайта. Как можно увидеть, количество страниц в индексе постоянно возрастает.

А на картинке ниже представлен тот случай, когда наблюдаются проблемы с индексацией или страницы сайты вообще закрыты от индексирования.

2) Проверка поисковыми операторами

С их помощью легко уточнить будущие результаты. Например, отлично для этих целей подходит параметр/оператор «site:», посредством которого вы сможете увидеть, сколько именно страниц проиндексировано.

Для этого в поисковой строке (Яндекс или Google, а лучше и там, и там) вводится следующая комбинация: site: url сайта

Обратите внимание! Большая разница в результатах двух поисковых систем может говорить о наличии тех или иных проблем в работе сайте.

К примеру, сайт cubing.com.ua, данные которого приведены на скринах ниже, находится под фильтром АГС, накладываемым поисковой системой Яндекс.

А вот дополнительные инструменты, которые есть в поисковых системах, дают возможность получить много интересной информации. Например, как менялась индексации за тот или иной период времени.

3) Плагины и расширения

Это автоматизированный метод проверки. Помимо плагинов можно использовать специальные расширения. Их еще называют букмарклеты, который представляют собой программы-скрипты. Они сохраняются в виде обычных браузерных закладок.

Привлекательность скриптов состоит в том, что теперь вам не придется снова и снова открывать поисковую системы и вводить какие-то слова или символы. За вас все сделает программа.

На картинке выше представлен пример работы плагина RDS bar . На скриншоте показано, какие данные он показывает при интеграции в браузер Google Chrome. Но в браузере Mozilla он предоставляет еще больше данных и возможностей.

В частности, такой плагин дает возможность получить данные, как по отдельной странице, так и по всему сайту в целом.

Обратите внимание! Плагины бывают, как платными, так и бесплатными. Явный недостаток бесплатных версий – необходимость постоянно вводить капчу. Нервирует жутко!

Хорошие отзывы заслужил скрипт/букмарклет «Проверка индексации». Его нужно всего лишь перетащить на панель вашего браузера. Потом открывайте нужный вам сайт и кликните по закладке скрипта. Это активирует новую вкладку браузера, на которой показаны все данные.

4) Специальные сервисы

Истинные помощники всех «сеошников». Перечислять подобные сервисы можно долго – их много. К примеру, выделяется ресурс Netpeak Spider .

Основное преимущество сервисов состоит в том, что вы получаете массу дополнительной информации помимо основных данных:

  • данные о количестве проиндексированных страниц;
  • полный список всех страниц, которые находятся в индексе;
  • коды ответа;
  • мета-теги;
  • файл robots.txt и многое-многое другое.

Кроме того, сервис предоставит информацию об ошибках на сайте.

5) Проверка индексации сайта с помощью Topvisor

Topvisor — является лучшим из сервисов для мониторинга и анализа поискового продвижения. Для проверки индексации следует выполнить следующие действия:

После того, как пройдете регистрацию, выберите проект, которой хотите проиндексировать.

Здесь можно создавать группы ключевых слов для удобства и с помощью сервиса определить частотность запросов и посмотреть их базовые, «фразовые» и «точные» значения. При этом «ключи» вводить можно вручную, импортировать их из файла, а также сделать подбор из Яндекс.Wordstat и Google AdWords.

Для проверки позиций переходим на вкладку «позиции» , выбираем нужную поисковую систему, к примеру Яндекс, выбираем нужную группу ключевых запросов и кликаем по зеленой кнопке в верхнем левом углу «обновить».

Спустя некоторое время данные обновятся. В отчете вы увидите позиции вашего сайта по определенным запросам и частоту запросов по «ключам». Когда происходят какие-либо изменения, например, ваш сайт поднялся на несколько позиций выше в поисковой системе, то эти изменения будут отображены здесь же. Так же доступна опция автоматического запуска проверки в указанное время или в зависимости от апдейтов Яндекса

Почему возникают проблемы с индексированием сайта: описание основных проблем и пути их решения

Рассмотрим основные причины, почему сайт может не индексироваться. Зачастую на исправление ошибок нужно не так уж и много времени, но после этого результаты поисковой выдачи существенно улучшаются.

Молодой сайт

Если вашему ресурсу совсем мало дней/недель/месяцев, нужно лишь просто подождать. Немного. Так уж работают поисковые системы, что сайты и страницы попадают в индекс далеко не сразу. Иногда приходится ждать несколько месяцев.

Отсутствует sitemap

Без нормальной карты сайта добиться хороших результатов нереально. Sitemap оказывает непосредственную помощь поисковым роботам, что существенно ускоряет скорость сканирования сайта, а также попадания его страниц в индекс. Добавлять ссылку на карту сайта проще всего через панель управления в сервисе веб-мастеров.

Наличие ошибок

Внимательно следите за оповещениями при посещении сервиса веб-мастеров. Там постоянно появляются сообщение о наличии тех или иных недочетов, ошибок. Просматривайте их и не забывайте исправлять.

Проблема с robots

Метатег robots важен для правильного индексирования сайта. Неосознанное изменение настроек на хостинге или вашей CMS приводит к появлению следующей записи в коде.

Что говорит о том, что страница попросту не индексируется.

Ошибка с файлом robots.txt

Правильно написанный – гарантия хорошего индексирования. Нередко можно встретить советы и рекомендации закрывать для поисковых роботов через данный файл все ненужное.

Однако уникальная особенность файла состоит в том, что лишь один неправильно поставленный символ может вообще закрыть сайт для индексации поисковыми системами.

Даже если вы стремились закрыть всего лишь одну страницу, может оказаться так, что одним кликом перекрыли несколько страниц и т.д.

Посмотрите внимательно на свой файл. Нет ли в нем записи User-agent: * Disallow: / ? Если она присутствует, значит сайт закрыт для индексрования.

И еще несколько причин, по которым сайт не индексируется

Среди основных проблем с индексированием можно выделить:

  • наличие дублей страниц;
  • использование при наполнении сайта неуникальных материалов;
  • низкая скорость загрузки сайта и проблемы с доступом к нему.

Как ускорить индексацию сайта в Яндексе и Гугле?

Главная цель владельца сайта – чтобы все страницы, открытые для поисковых роботов, находились в индексации. Добиться такого результата, скажем откровенно, весьма и весьма сложно.

Кроме того, необходимо постоянно отслеживать весь процесс добавления страниц в индекс. Любые изменения – резкие – будь-то положительные или отрицательные, сигнализируют о наличии конкретных проблем, которые мешают нормальному индексированию ресурса.

Для проверки индексирования сайта воспользуйтесь любым (а лучше последовательно каждым) способом, описанным в нашей статье:

  • панелью инструментов в сервисе для веб-мастеров;
  • поисковым оператором/параметром site: ;
  • плагины и скрипты;
  • специализированные онлайн-сервисы.

Бонус, для тех, кто действительно хочет достичь результатов

Представляем специальную таблицу , которая поможет вам при работе с индексацией сайта.

Работать с такой таблицей очень и очень просто. Вот подробная последовательность действий:

  • сделайте копию таблицы со столбцами, как на скрине;
  • выберите доменную зону;
  • в столбик А подгрузите URL сайта;
  • подождите, пока подгрузятся все URL – чем их больше, тем дольше ждать результата.

Столбы В и С можно копировать, что позволит вам отслеживать динамику индексации страниц.

Вы еще не прошли обучение на моем авторском курсе «Как создать сайт за 4 дня»? Переходите по ссылке: и регестрируйтесь прямо сейчас либо можете воспользоваться моей инструкцией, где я пошагово показываю ! Приходите, будет интересно!