Почему гугл индексирует мало страниц. Время простоя хостинга. Все что нужно

Здравствуйте, уважаемые читатели! С самого начала ведения блога я хотел сделать такой полезный материал для начинающих. Перед Вами пошаговая инструкция создания, seo-оптимизации и продвижения сайта (блога) в виде последовательной схемы со всеми этапами работ с примерами и советами. В ней Вы узнаете, какие шаги и действия необходимо осуществить, чтобы самостоятельно сделать и продвинуть свой ресурс в поисковых системах. Перед Вами 1-я часть.

Сразу сделаю важное замечание — это инструкция по развитию и раскрутке информационных сайтов (блогов), а не коммерческих проектов. Для этого есть несколько причин:

во-первых, все материалы моего блога предназначены для начинающих блоггеров и вебмастеров. Этот пост не исключение.
во-вторых, схема создания и seo-продвижения коммерческих сайтов отличается по многим этапам seo-работ.
в-третьих, моя цель — научить обычных владельцев веб-ресурсов использовать возможности поискового продвижения, а не готовить seo-специалистов.

На моем блоге уже выкладывались некоторые части этой схемы, а также они упоминались в моих старых seo-шпаргалках. Но единой системы, где в одном месте показаны все этапы создания и развития сайта, пока на моем блоге не было. До этого момента. 🙂

Как пользоваться инструкцией

Чтобы Вам было проще и удобней пользоваться этой инструкцией, я для многих этапов по данной теме подготовил следующие материалы:

краткое изложение материала по текущему шагу создания, развития или seo-оптимизации сайта;
примеры реализации данного этапа, позволяющие лучше уяснить изложенный материал;
возможные ошибки, которые часто делают начинающие блоггеры и вебмастера;
блок ссылок на статьи моего сайта с дополнительной или подробной информацией.

В некоторых разделах даются для постоянных подписчиков seo-шпаргалки, которые недавно появились на моем блоге. Они несут как правило разъяснительный материал по какому-то конкретному вопросу данной инструкции.

Подготовка к созданию информационного сайта

Как ни странно, но это самый важный этап для будущего успешного развития сайта. Именно он является тем фундаментом, от которого уже отталкиваются все остальные шаги. Если на этом этапе допускаются ошибки, их иногда сложнее исправить, чем помарки на других этапах.

Выбор в пользу информационного сайта

На этом этапе формируется желание сделать крутой сайт, который даст людям много полезной информации. Но одного желания мало — нужно понимать, каким образом и что именно дает такой вид веб-ресурса своим пользователям. Разберемся с этим.

Информационный сайт – это веб-проект, который в будущем будет продвигаться по информационным запросам выбранной тематики в поисковых системах. На его страницах будет предлагаться контент, который отвечает на вопросы «Кто, как, зачем, почему и т.д.»

Задача такого сайта — это дать максимально полезную информацию по теме и тем самым обойти своих конкурентов в поисковой выдаче. Здесь упор делается в первую очередь на контент (на его изложение и подачу читателю). Поэтому для информационных ресурсов и блогов важно понимание того, что должен предлагать такой проект для своих пользователей. Причем пользователей именно поисковиков (как правило, доля поискового трафика на таких сайтах от 65 до 95%).

Ошибка здесь может быть только одна — неправильно сформировать свое желание или неверно его интерпретировать . Поэтому на этом этапе закладывается неверный фундамент, который в будущем будет вызывать неудовлетворение от работы проекта как у посетителей, так и у самого владельца.

Формирование целей и миссии

Важный этап, на который не все начинающие блоггеры и вебмастера обращают свое внимание. Многие популярные веб-ресурсы имеет свою миссию и цели. Ведь без них никуда.

По аналогии, если брать жизнь человека, то миссия – это его предназначение в этой жизни, а цели — его потребности. Разумеется, самая главная цель любого адекватного сайта – это что-то получить. Обычно информационные сайты создаются для монетизации трафика (с помощью контекстной рекламы, партнерских программ, инфобизнеса, рекламирования услуг и т.д.) и для информационной поддержки (онлайн-энциклопедии, раскрутка ТВ-программы, формирование тематической базы и т.д.).

Способы реализации этих целей тоже разные – использование подписных баз чужих подписчиков, получение поискового или социального трафика и т.д.

Миссия сайта — это уже совсем другое понятие. Для формирования миссии нужно понимать, кто потенциальный посетитель будущего ресурса, что он будет искать на его страницах, какую пользу он хочет получить от его посещения.

Сам дух миссии должен в итоге просматриваться в любой статье созданного информационного сайта (блога). Если это вариант типа «все кратко и быстро», то и посты должны быть такими же лаконичными и небольшими по содержанию.

Возьмем для примера миссию моего блога — она показана в его шапке (на картинке справа). Белым по черному написано, что посты этого блога пишутся несложным языком для начинающих. А это значит, что посетитель понимает, на какую бы он страницу не зашел, везде ее материал он сможет понять.

Или еще один пример миссии сайта о кошках. На нем статьи разного направления — о породах, питании, лечении кошек. А миссия там тоже очень проста — «Помогаем человеку и кошке понять друг друга». Правда красивая и понятная миссия у этого сайта!

Создание целей — это еще один этап, который может в будущем дать негативную оценку всему развитию сайта. Дело в том, что частенько владельцы заменяют одни цели (явные) на другие (призрачные). Например, блоггер всем дает понять, что он хочет давать пользу по выбранной теме. А на самом деле спит и видит, когда же он сможет монетизировать свой ресурс. А это уже другая задача, требующая совсем другой подход по созданию и ведению блога.

Создание веб-ресурса

Итак, с желаниями мы разобрались, пора переходить к созданию нашего проекта. На этом этапе закладывается фундамент всего сайта, продумывается вся его будущая деятельность. Рассмотрим кратко все действия этого шага.

Подготовительный анализ

Театр начинается с вешалки, а создание информационного сайта – с анализа тематики (конкурентов). Очень важная задача, позволяющая увидеть не только примеры удачных веб-ресурсов Вашей темы, но и понять, сможем ли мы так же вести и развивать свой проект. Это такой тест-проверка «Готов ли ты быть лучшим и пододвинуть этих ребят из топа!»

Конечно, лучший вариант такой аналитики – это подробный обзор сайтов в топ-10 Яндекса. Почему Яндекса? На мой взгляд, он в последние годы стал более требовательным к создаваемому контенту, чем Гугл.

Наша задача — со всех сторон оценить десятку лучших сайтов по различным популярным поисковым запросам. Для этого я использую специальную таблицу, которая позволяет собрать необходимые мне данные для анализа:

Итак, что нужно оценивать при анализе конкурентов? Вот основные моменты:

Структура сайта – какой предлагается ресурсом рубрикатор, какие есть в нем разделы и т.д.
Структура страницы – типовое содержание тематического контента в зависимости от типов постов.
Элементы форматирования – какие используются подзаголовки, картинки, списки и т.д.
Подача информации – есть ли единый стиль подачи контента. Если есть, то какой.
Отдельные страницы сайта – о сайте, об авторе, услуги, предложения и т.д.
Секреты и фишки – они есть почти в каждом сайте выбранной тематики (чаще всего у ресурсов с индивидуальным дизайном).

Какие на этом этапе могут быть ошибки. Я заметил две самых популярных:

Не делать анализ. Многие начинающие вебмастера этим делом просто не заморачиваются, а некоторые блоггеры об этом шаге даже и не знают. А зря, ведь подготовка к любому делу — это уже половина успеха!
Обращать внимание только на seo . Спрашивается — ну что это seo без нормального контетна может? Увы, ничего — прошла эра закупки вагона ссылок на бездушные тексты…

Составление техзаданий

До этого шага все наши пожелания по разработке сайта были или в голове, или в каких-то набросках на бумаге. Сейчас их нужно собрать вместе. Для этого существует понятие техническое задание , которое дает некую систему и правила, позволяющие сформировать наши идею на деле.

Еще раз повторюсь, ТЗ — это уже наработанный шаблон, понятное лекало, по которому мы будет делать свой сайт. Это тоже самое, что и для любого бизнеса является бизнес-план.

Итак, техзадания бывают разные — зависят от работ, которые необходимо сделать для постройки и развития своего ресурса. Вот основные ТЗ:

ТЗ для дизайнера – будущий популярный информационный сайт должен иметь безупречный внешний вид с удобной навигацией. Здесь правило четкое, простое – чем понятней и проще элементы и разделы у сайта, тем лучше. Предпочтение отдается или индивидуальному дизайну (рисуется с нуля) или берется уже оптимизированный под seo платный шаблон.
ТЗ для создания контента – очень важно знать, каким будет будущий контент на своем проекте, как он будет выглядеть. Соотвественно нужно уже заранее продумать основные требования к составлению текстов. Из этого ТЗ уже делается отдельное для копирайтеров (оно более упрощено, так как в основу идет только написание текста, а не его редактирование на сайте).
ТЗ для оптимизатора – свод правил, которыми должен руководствоваться оптимизатор для подготовки статей для поискового продвижения.

Также на этом этапе желательно заранее продумать схему выхода новых постов – их цикличность, распределение материалов по темам, подготовка информационных сборок и т.д.

Ошибка на этом этапе может быть одной — составление очень простых ТЗ . Дело в том, что на составление грамотной инструкции приходится тратит много усилий. Не все начинающие блоггеры и вебмастера умеют собирать информацию под одну крышу. То какие-то куски не стыкуются, то что лишнее или даже пустое (ненужное) вылазит на ТЗ. Но зато оно позволяет серьезно посмотреть на то, что мы хотим видеть в будущем.

Регистрация домена, подбор имени сайта

Выбор домена для нового сайта — это тоже немаловажный этап. Домен влияет на успешное seo-продвижение по следующим причинам:

во-первых, он может содержать в себе ключевое слово, самый важный запрос выбранной нами тематики;
во-вторых, в поисковой выдаче при выборе сниппетов, посетители обращают внимание на то, созвучен ли домен той теме, по которой он задал свой вопрос поисковику;
в-третьих, урл сайта влияет на его ранжирование в поиске.

Теперь пару слов о том, как выбрать хороший домен. Вот те моменты, на которые необходимо обращать свое внимание:

Доменное имя должно находиться в популярной зоне . Для Рунета — это зоны ru и рф. Также хороши варианты com, su и org.
Домен должен характеризовать тематику сайта . Это положительный фактор на успешное ранжирование.
Домен должно запоминаться . Если в адресе нашего сайта будет бардак или домен не будет звучать, то оно мало кому запомнится. Поэтому, это не наш случай.
Домен по возможности должен быть коротким . Чем меньше символов в адресной строке, тем лучше..

По поводу имени сайта здесь тоже не должно быть каких-то длинных имен или не тематических фраз. Хорошо, если оно будет легко запоминаться. А еще лучше, если оно будет сочетаться с урлом (но это большая редкость).

Создание семантического ядра

По сути это один большой огромный этап. Но он входит именно в работы по созданию сайта. Это потому, что семантика является фундаментом будущего ресурса. Без него ну никак, ведь СЯ позволяет решить много задач при подготовке и продвижении. А именно, благодаря хорошей семантике можно:

получить поисковые запросы для каждого поста;
увидеть план будущих информационных статей;
продумать структуру разделов своего проекта;
использовать запросы для внутренней перелинковки.

По сути, семантическое ядро – это настоящий спрут, который окутывает своими щупальцами все этапы создания и развития нашего веб-сайта.

Конечно, сразу создать полноценное ядро по выбранной информационной тематике не получится. Ведь как правило, у людей из поиска вопросов типа «как и почему» на порядок больше, чем других (коммерческих, к примеру).

Поэтому сбор поисковых запросов – это повседневная работа оптимизатора. И не только потому, что нужно по каждой подтеме сайта собрать максимальный пул запросов. Еще нужно эти подтемы увидеть и оценить их популярность.

Сбор семантического ядра для информационного сайта состоит из 5-ти этапов:

Формирование списка масок по выбранной подтеме.
Сбор поисковых запросов (Вордстат, подсказки, конкуренты).
Получение параметров по найденным запросам.
Анализ полученных фраз по параметрам.
Кластеризация (группировка) ядра на отдельные темы.

Перечислю самые частые ошибки, совершаемые многими вебмастерами на этом этапе:

Отсутствие полноценного списка масок . Частая беда, которую делают не только начинающие, но и уже опытные seo-специалисты. Эта ошибка самая опасная на мой взгляд, так как каждая маска дает в будущем свой трафик. И если ее не найти, трафику неоткуда взяться. Зачастую, при игнорировании этой работы, можно потерять от 20 до 80% поискового трафика!
Использование только данных Вордстата . Уверен, все блоггеры используют Вордстат. Но мало кто еще для сбора семантики берет запросы из подсказок. А они могут дать в разных темах приличный трафик. И самое важное — они позволяют создать большой длинный хвост запросов.
Неправильный анализ ключевиков . Не частая ошибка, но для некоторых сложных тем может быть критичной.
Не делается кластеризация . На распределение найденных ключевиков нужно много времени. А еще терпения. Конечно, ест автоматизированные варианты группировки запросов, но они стоят приличных денег. А ручками иногда бывает лень. В итоге вебмастеру не видна перспектива новых статей в этой теме — он не знает, сколько их можно написать, какие темы более актуальны, где можно сделать циклы постов и т.д.

Сбор семантики всегда требует качественного подхода к делу. Иначе и ошибки полезут, и в итоге не получится планируемый результат (поисковый трафик). Вот пример хорошего семантического ядра (фрагмент), для которого были сделаны все этапы составления:

Формирование структуры проекта

На этом небольшом этапе, наряду с поиском семантического ядра, формируется будущее проекта. Ведь структура нового ресурса — это всегда потемки. Нам сложно вначале предположить, какие его разделы будут более актуальными на нашем сайте, а какие нет.

Разобраться в этом позволяют этапы сбора семантики и анализа конкурентов. Благодаря им можно увидеть популярные варианты структур, а также оценить значимость тех или иных подтем тематики ресурса. Все это выливается в схему будущего проекта, который в будущем будет скелетом сайта. Останется только нанизывать мясо (публиковать материал) и человек готов! 🙂

Итак, действия на этом шаге работ очень просты:

сначала смотрим структуры проанализированных сайтов;
затем выделяем из этих примеров похожие разделы, части сайта;
добавляем туда оригинальные структурные элементы;
и все это проецируем на собранное семантическое ядро.

Именно полученное СЯ по темам позволяет до конца продумать, какие рубрики действительно популярные, а какие нет, какие разделы требуют внутренних подразделов, а какие этого не требуют. Вот пример такой структуры блога, который предлагает своим читателям материалы о сортах чая (картинка кликабельна!!!):

Но часто бывает такой случай, когда собранного ядра еще нет (например, потому что тематика сайта просто огромная). Тогда есть более простой способ хотя бы наметить структуру своего будущего ресурса. Для этого нужно:

Взять популярные запросы по основным темам и оценить их популярность (Вордстат).
Написать таким образом проверенные темы в отдельный список (таблица Excel подойдет).
Сортировать созданный список по видам контента (это берется из анализа конкурентов).
Создается семантическая структура сайта.

Вот пример такой структуры для кулинарного портала «Твой Поваренок» (картинка кликабельна!!!):

Ведение информационного сайта

Создав свой проект и опубликовав первые статьи, приходит понимание того, что работа над блогом должна осуществляться ежедневно. По крайней мере для больших проектов — это аксиома. И дело здесь не только в том, что нужно писать новые тексты. На этом этапе тоже хватает работы.

Создание контента

Без этого шага продвигать свой проект даже не стоит пытаться. Яндекс и Гугл с каждым годом все больше уделяют внимание не только качеству текстов, изображений, видеоматериалов. Им важно видеть все в комплексе. А для этого они используют свои оценочные показатели (так называемые параметры посещаемости — показатель отказов, время на сайте и т.д.).

Для того, чтобы новый сайт получил побыстрее признание со стороны поисковиков, нужно сделать такие работы:

Продумать единый стиль форматирования контента . Задача несложная, если под рукой есть знакомый дизайнер — у них на красоту есть особое чутье. Он поможет подобрать вариант шрифта, его размер, придумает стилистику текста, варианты исполнения абзацев и многое другое. Все это позволит улучшить восприятие контента сайта поисковым пользователям.

Создать элементы форматирования под найденный стиль . Элементы форматирования — это такие якоря, которые пытаются привлечь человека из поиска обратить внимание на наш контент. Если этого сделать не получиться, он просто уйдет назад в поисковую выдачу.

Итак, что же это за элементы такие:

подзаголовки h2 — h4, — показывают логичность и структуру наших информационных статей;
изображения — дают максимум информации за короткий промежуток времени. Должны быть качественными и всегда по теме статьи;
маркированные и числовые списки — отлично выделяют ключевой контент, позволяют собрать текст по какому-то признаку;
таблицы — дают более простое представление сложных массивов с данными или наглядную видимость логичности информации в тексте.
видеоролики — картинка и текст дают максимум информации, а ролики с этим справляются еще быстрее.

Подготовить дополнительные «фишки» . Я называю такие блоки в статьях, которые позволяют быстро обратить внимание на какую-то ключевую информацию. Пример такой фишки можете видеть в этой статье — это «содержание», блоки «с ссылками и ошибками», «закрытый раздел». Эти элементы контента здорово улучшают читабельность текста!

Составить схемы по каждому типу статей . У каждой темы есть разные по назначению материалы. Например, это могут быть статьи мастер-классы, факи, обзорыне посты, пошаговые инструкции и т.д. Каждый такой тип предполагает свой вариант подачи контента. А значит нужно заранее подготовить шаблоны для каждого вида статей, чтобы придерживаться общего стиля подачи контента.

Вот пример такой схемы для кулинарного сайта, в котором есть один из видов постов — фоторецепт:

Внедрять ключевые слова в статьи . Достаточно сложная задача, так как запросов для информационных статей всегда много. Причем часть из них нужно определить на подзаголовки статей, выбрать которые нужно таким образом, чтобы еще и не испортить логичность повествования текста. Вот пример удачного использования ключевых слов для формирования подзаголовков (пример взят из домашнего задания моего ученика из ):

И еще важный момент. При создании информационного контента нужно учитывать не только те запросы, которые собраны для ядра, но и те фразы, которых нет на сайте. Благодаря этому после публикации статей будет формироваться по ним большой хвост запросов, который может серьезно увеличить поисковый трафик.

Ошибки в публикации контента чаще всего возникают именно на начальном этапе ведения информационного сайта, пока не продуман единый стиль подачи контента. Но со временем они уходят на нет, заменяя периодические помарки на полный автоматизм.

Чаще всего возникают трудности с двумя следующими работами:

внедрение ключевых слов — не сразу дается эта наука, приходится много практиковаться. Главное здесь — это работать по правильной схеме и все время ее придерживаться.
придумывание подзаголовков — здесь чаще всего проблема кроется в логичности изложения материала. Просто нужно перед публикацией всегда держать в голове план статьи, который бы Вы написали без всяких ключевиков. Когда он будет сформирован (появятся в нем разделы — части статьи), нужно просто перед каждым разделом поставить подзаголовок. Причем не просто дать ему название, а использовать ключевой запрос (или несколько) из найденных для этого материала фраз.

Для того, чтобы писать качественный контент, нужно не только много писать и знать правила русского языка. Нужно еще как-то разбираться в теме. Если Вы пишите статьи, то в ней Вы должны уже собаку съесть. Если это делают копирайтеры, их нужно научить писать понятные тематические тексты. Иначе пользователи из поиска быстро опустят Ваш сайт на 2-ю и далее страницы поисковой выдачи.

Сопроводительные работы

Под этими делами подразумевается поддержка работоспособности сайта на должном уровне. Какие-то работы делаются периодически, какие-то по требованию. Вот их перечень:

Периодические работы

Проверка скорости сайта . В настоящее время все больше ужесточаются меры по времени подключения к материалам сайта. И это на фоне того, что с каждым годом количество контента на страницах растет. Ведь сами поисковики не раз намекали, что большее предпочтение они отдают статьям, которые полно раскрывают суть вопроса. Но одновременно они требуют, чтобы скорость загрузки страниц информационных сайтов была минимальна. В общем, надо как-то примерить эти два требования, найти золотую середину.

Поэтому, в течение всей работы сайта необходимо периодически проверять скорость отображения информации. Эта данные легко покажут сервисы веб-аналитики. Лично я использую чаще всего Яндекс Метрику. Покажу пример ее использования для получения скоростных данных.

Для этого в Метрике нужно открыть стандартный отчет, который называется «Время загрузки страниц» и находится в разделе «Мониторинг». В предоставленном отчете обращаем внимание на таблицу с метриками для каждой статьи сайта. Нас интересует параметр «Время до загрузки DOM». Это то время, за которое наш посетитель увидит открывшуюся страницу сайта или ее «скелет»:

Конечно, чем меньше цифры этого параметра, тем лучше. Оптимальный вариант — до 3-4 секунд (при больших цифрах Гугл хуже ранжирует такие страницы). По крайней мере это справедливо для Гугла. Яндекс пока более снисходителен ко времени загрузки. Но это только пока.

Поиск битых ссылок . Битые ссылки — это такие линки на страницы своего и чужих сайтов, которые выдают при переходе ошибку 404 (страница не существует). Это всегда плохо, потому что это не дает посетителю получить контент, который был ему предложен Вашей ссылкой. С этим неприятным моментом нужно все время сражаться! Иначе можно погрязнуть в болоте из некачественных ссылок.

Удаление дублей . Тоже непостоянная вещь, которая при неправильном шаблоне может давать дублированный контент на похожих страницах Вашего сайта. В основном такая беда случается у Гугла, Яндекс более понятлив к нашим командам блокировки несуществующих документов. Запреты ставятся в файле robots.txt.

Работы по требованию

Это как правило или решение каких-то авралов, или внедрение специальных инструментов, помогающих в развитии сайта. Я всегда предлагаю держать в своем арсенале парочку самых важных инструментов, которые реально помогают в работе. Вот их перечень (подробное описание по ним Вы найдете в блоке со ссылками):

панели инструментов Яндекса и Гугла — самые достоверные источники правильной индексации в поиске и работоспособности Вашего сайта.
Топвизор — специальный сервис , позволяющий не только проследить динамику изменения позиций, но и дать полную аналитику по видимости сайта.

Итак, первая часть моей пошаговой инструкции создания, развития и seo-оптимизации информационного сайта закончена.

С уважением, Ваш Максим Довженко

Что делать, если сайт отсутствует в поисковых системах? Какие шаги предпринять и по каким причинам индексация не происходит? Подробно об этом рассказывается в данной статье.

В современном мире миллионы людей ищут информацию, используя для этого популярные поисковые системы. Если вы создаёте интересный, качественный и уникальный контент, доступ к которому предоставляете всем желающим на своём ресурсе, то, разумеется, возникает желание, чтобы его видели в поиске. Особенно, если это сайт вашей компании. И кстати, если вы хотите узнать всё о том, как сделать сайт-визитку, то переходите на advancesite.info - там вы найдёте независимые обзоры об инструментах, которые позволят сделать это быстро и легко!

Что делать, если вы написали тематический запрос по тому материалу, который старательно раскрывали на своём сайте, а в ответ получили множество чужих сайтов? Это значит, что ваш сайт не индексируется должным образом.

Первое, что нужно проверить, это сообщали ли вы системам поиска о своём существовании. Так как крупные порталы имеют дело с колоссальными объёмами информации, им затруднительно самостоятельно обнаружить новый интернет-сайт.

Если же вы сообщили поисковым системам о своём сайте или даже воспользовались специальными услугами, когда специалисты массово добавляют страницы вашего ресурса в разные поисковики, то стоит изучить целый ряд причин и проверить, существует ли один из этих факторов на вашем сайте.

Добавление интернет-ресурса в поисковики

В этом разделе мы рассмотрим две поисковые системы, Google и Yandex. Первая известна всему миру, а вторая ориентирована только на страны СНГ. Из этого вытекают определённые особенности.

Почему Гугл не индексирует сайт? Потому что нужно вручную добавить свой интернет-ресурс через Google Webmaster Tools . После того, как вы введёте адрес ресурса в форму и осуществите подтверждение своих прав путём установки временного специального кода на страницу, Google начнёт регулярно сканировать страницы сайта и в поиске по определённым запросам он будет показываться.

Если Яндекс не видит сайт и вы ранее не предпринимали попыток начать индексацию в этой системе, то следует перейти в Яндекс Вебмастер . После перехода по ссылке вам предложат ввести URL, а затем подтвердить свои права следующим способом. Yandex сформирует уникальный HTML-код, который требуется на некоторое время поместить на главную страницу сайта. Внешне он не будет заметен, но Яндекс это отличие увидит.

После добавления вы сможете регулярно отслеживать широкий спектр данных. Например, количество переходов.

Сайт добавлен, но всё равно не индексируется

Что делать, если сайт вроде бы проиндексирован, но его нет в поиске? В этом случае может быть одна из следующих причин:

прошло мало времени;
неправильно настроен файл robots.txt;
если используется CMS, могут быть включены настройки приватности;
фрагменты текста закрыты с помощью тэга ;
существуют ошибки при сканировании;
индексация закрыта в файле.htaccess;
модули AJAX и JavaScript неправильно настроены;
дубль информации на ресурсе;
медленная загрузка интернет-страниц, плохой хостинг;
отсутствует карта сайта;
заблокирован домен;
у сайта не указан язык;
проблемы с контентом.

Рассмотрим более детально каждый из этих случаев.

Прошло мало времени

Сколько по времени индексируется сайт, после выполнения необходимых процедур в "Google Webmaster Tools" или в "Яндекс Вебмастер"? Обычно от двух недель до месяца. Возможно, что сайт появится в поиске и раньше, но не стоит особо на это надеяться. Если через месяц ничего не изменилось, пишите в поддержку поисковой системы или проверяйте другие причины из этого списка.

Про robots.txt

Также вас может интересовать то, как часто робот Яндекса индексирует сайт. Это происходит в зависимости от посещаемости и популярности сайта. Некоторые блоги сканируются каждые два часа.

В файле robots.txt можно прописать свои пожелания по поводу того, какие страницы сайта не должны индексироваться. При этом можно попросить поисковые системы не индексировать сайт полностью, а не только отдельные страницы. Если вы сделали это случайно, то перепроверьте документ и внесите необходимые коррективы.

Особенности CMS

Системы управления контентом, который сейчас довольно много, обладают функциями, позволяющими изолировать ресурс от индексации. Для этого рекомендуется проверить настройки приватности. В разных CMS отличается интерфейс, поэтому универсальный порядок действий мы вам дать не можем. Уточняйте это по поводу конкретной системы.

Тег noindex

Скрыть фрагмент страницы от поисковых систем возможно с помощью тэга . Проверьте, не заключили ли вы в этот так по нелепой случайности всю страницу полностью (или вообще главную страницу, всякое бывает). Затем в мета-тэгах найдите строчку с фразой "content = no index" и уберите "no", если таковая присутствует.

Ошибки на сайте

Также могут возникать проблемы при сканировании страницы, обычно связанные с неправильно построенным HTML-кодом. Через сервис Google Webmaster Tools возможно обнаружить конкретные проблемы, из-за которых индексация страницы не происходит.

Файл.htaccess

Если по каким-то причинам вы создаёте ресурс только для закрытого круга лиц (масонская ложа, например) и вы не хотите, чтобы поисковики случайно забрели на сайт, вас наверняка интересует ответ на вопрос как сделать так, чтобы сайт не индексировался. Очень просто, это делается через файл.htaccess. Ну а если индексация вам нужна, то обязательно проверьте этот файл. В некоторых ситуациях запрет индексации может быть прописан в нём по умолчанию.

JavaScript на сайте

Если вы работаете с языками JavaScript или AJAX, воспользуйтесь справочными материалами в Google Webmaster Tools, которые помогут вам разобраться с проблемами.

Скорость работы сайта

Сайт не должен тормозить и грузиться медленно. У этого могут быть причины как со стороны хостинга, если он некачественный, так и со стороны кода. Неоптимизированный код способен нагружать страницу и не позволять поисковикам осуществить нормальную индексацию.

Карта сайта

У людей также возникает вопрос в духе "Почему гугл не индексирует все страницы?". Обязательно следует создать файл sitemap.xml, в котором будет присутствовать перечень всех страниц сайта. Если Яндекс проиндексировал только главную, то это также поможет решить проблему.

Не указан язык сайта

Кстати, эксклюзивная для Яндекса проблема - у сайта не указан русский язык в мета-тэгах или указан иностранный язык. В этом случае сайт автоматически либо не индексируется, либо сканируется частично. Решение проблемы простое - прописать параметр "Russian".

Чистота домена

В некоторых случаях купленный вами домен может оказаться использованным ранее. Вполне возможно, что он был в руках недобросовестных владельцев и в итоге сайт получил бан в поисковиках. Исправить это будет сложно. Сначала требуется проверить домен на наличие блокировки, а уже затем писать в поддержку поисковой системы.

Качество контента

И, разумеется, важно заботиться об уникальности своего контента. Поисковики очень любят, когда статьи и материалы обладают новизной. При этом текст не должен быть чем-то переспамлен, для обнаружения подобных страниц существуют специальные фильтры и алгоритмы.

Не создавайте копии страниц или зеркала других сайтов. В этом случае сайт не пройдёт фильтры поиковых систем.

Если ничего не помогает

В случае, если ни одна из этих причин не была обнаружена, но при этом сайт и дальше не индексируется, обратитесь в службу поддержки системы поиска. Специалисты обязательно обратят внимание на проблему и проведут проверку, так как может влиять и какой-то фактор со стороны самого поисковика.

Форумы вебмастеров пестрят грустными постами по поводу того, что сайт плохо индексируется поисковыми системами. А ведь это основа SEO-продвижения, без которой популяризация интернет-ресурса практически невозможна.

Обидней всего, когда над созданием web-проекта трудился дорогостоящий программист, а на его наполнение контентом ежемесячно тратится внушительная сумма.

Однако Яндекс и Гугл не спешат индексировать отдельные страницы или даже целый сайт. Почему так происходит?

На этот вопрос нет однозначного ответа: существует множество причин.

Важно выявить конкретную проблему (технические ошибки, дубляж страниц, нестабильную работу хостинга или санкции поисковиков) и сделать все для ее решения. Есть хорошая новость - ситуацию можно исправить. Хотите, знать как? Читайте дальше!

Нормы индексации сайтов

В Яндекс

Yandex сканирует и добавляет новые страницы примерно два-четыре раза в месяц. Попасть в поисковую выдачу раньше способны лишь трастовые и часто обновляемые порталы - внушающие доверие сайты индексируются быстроботом Яндекса ежедневно.

В Google

Что касается Гугла, обновления могут занять от одного дня до двух недель. Здесь многое зависит от категории вашего сайта. Например, ресурсы с актуальными новостями и живые форумы роботы проверяют с завидной регулярностью.

Материалы часто обновляемых порталов обычно сканируются в тот же день или на следующий. Индексация блога, в котором каждую неделю появляется новый контент, нередко задерживается на 2–4 дня.

Совсем печально обстоит дело с третьесортными сайтами, а также совсем молодыми веб-проектами, только что появившимися в Сети. Поисковые роботы могут игнорировать их в течение месяца.

Важно! Вышеописанные данные актуальны при добавлении малого количества страниц в индекс. При добавлении большого количества страниц одномоментно, скорость индексации может увеличиться в несколько раз.

Особенно долго будут индексироваться страницы с малой ценностью для посетителей.

Что делать, если новый сайт не индексируется поисковиками?

Под это определение подходит ресурс с возрастом домена до полугода, который не имеет обратных ссылок и ранее не продвигался.

Добавить сайт в панели вебмастеров

Вы только что создали сайт и ждете чуда под названием «быстрая индексация»? Такая стратегия ошибочная, ведь в первое время Гугл и Яндекс не обращают на новый сайт внимание. Помогите своему проекту заинтересовать роботов - сделать это достаточно просто: надо лишь .

Важно! Использование сервиса Яндекс. Вебмастер и Google Webmaster не только ускорит добавление страниц в индекс, но и позволит эффективнее работать над оптимизацией сайта. Представленные инструменты бесплатно открывают вебмастерам множество возможностей для диагностики, получения рекомендованных для продвижения запросов и привязки сайта к конкретному региону.

Улучшить сайт

Пора заняться внутренней оптимизацией: систематически создавать первоклассный контент, улучшить юзабилити, сделав удобные рубрики, а также позаботиться об адаптивности и перелинковке. После этого следует задуматься о внешнем продвижении. Оно включает в себя работу с социальными факторами и размещение естественных ссылок у надежных доноров.

Если сайт все так же не индексируется Яндексом, необходимо написать в техническую поддержку поисковика. В результате вашего запроса вы получите информацию о наличии бана, фильтра или установите другую объективную причину возникшей проблемы.

Как проверить индексацию сайта?

Используйте в запросе оператор Site

Узнайте количество просканированных и добавленных в индекс страниц путем введения в строку поиска Гугл и Яндекс «site: url вашего сайта». Благодаря дополнительным настройкам легко получить данные о произошедших за конкретный промежуток времени изменения.

К примеру, сегодняшняя проверка российской версии Википедии показала, что за последние 2 недели на этом сайте появилось 143 новых материалов.

Учтите! Разница между показателями разных поисковых систем является поводом для тревоги. Чаще всего это свидетельствует о возможном попадании под фильтр Гугла или Яндекса.

Введите в поисковик url страницы

Этот способ идеален для проверки индексации отдельно выбранной страницы.
Для Google

url:https://ru.wikipedia.org/

Для Яндекс

info:https://ru.wikipedia.org/

Через панель вебмастеров

Если вы ранее уже зарегистрировались в Яндекс. Вебмастер, то при переходе на данный сервис сразу увидите число загруженных материалов и тех, что находятся в поиске. В идеале их количество должно совпадать или быть похожим на реальное количество страниц сайта.

Более детальную информацию вы получите при переходе на основную панель, после чего необходимо нажать «Индексирование» и «Страницы в поиске».

Анализируя полученный отчет и ищите страницы, которые не индексируются.

Вариант 2: Сайт вообще не индексируется в Яндексе и Гугле, страницы выпадают из индекса.

Код ответа сервера

Убедитесь, что страница содержит код сервера 200 ОК - это означает: она действительно существует, доступна к просмотру для пользователей и поисковых систем.

Проверка осуществляется при помощи специальных сервисов.

Например, http://www.bertal.ru/index.php?a1910327/
Если код ответа не 200 ОК, то именно в этом может быть причина не индексации страницы.

Robots.txt

В файле robots.txt недопустимы запреты на индексацию сайта и отдельных страниц, а также работу конкретного поисковика.

Важно! Обязательно проверьте сформированный robots.txt на ошибки. Сделать это можно в Google Вебмастер: нажмите на «Сканирование», а затем на «Инструмент проверки файла robots.txt».

Meta Robots

Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах. Обязательно удалите в HTML-коде строкии если они есть на важных страницах.

Либо используйте плагины для браузера, такие как .

Rel Canonical

Хотите, чтобы страница попала в индекс поисковика? Тогда она не должна ссылаться на другой канонический документ.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Либо через тот же плагин

Вебмастера

Используйте Google Webmaster Tools для выявления ошибок сканирования, из-за которых роботы не получают ответы на запросы.

Когда получите результат, сравните, что видит Google и пользователь. Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов.

Протестируйте скорость загрузки и время ответа сервера. Убедитесь, что выбранный вами хостинг работает стабильно.

Файл.htaccess

Если сайт не индексируется, он может быть заблокирован в файле.htaccess.

Проверьте.htaccess на наличие таких строк:

RewriteRule.* - [F]

Либо такой вариант, который будет отдавать роботу Google 404 ошибки.

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* -

Поищите в файле другие варианты блокировок с использованием USER_AGENT или названия поисковых ботов: googlebot, yandex и т. д.

AJAX и JavaScript

Распространены проблемы с языками AJAX и JavaScript. Блог Яндекса для вебмастеров рекомендует создать в структуре ресурса определенную схему , которая сообщит поисковым системам о необходимости индексации.

Санкции

Еще одна серьезная проблема - наложение санкций на страницу или даже весь сайт. Узнайте в техподдержке поисковой системы (только Яндекс), за что именно (ссылки, переспам, неуникальный контент) вас наказали, после чего оперативно исправьте ситуацию.

Как уже говорилось ранее, причиной отсутствия внимания к странице часто является низкокачественный и дублированный контент.

Вряд ли робот будет заинтересован в ваших материалах, если в выдаче уже имеются похожие документы, продвигаемые по тому же семантическому ядру.
Негативно влияет на скорость индексирования незрелый возраст домена, а также забаненный ранее б/у домен. В таком случае стоит написать запрос на пересмотр в Яндекс.

Итоги

Если сайт не индексируется Яндексом или Гуглом, значит, на то есть объективная причина. Ваша цель - выявить и решить проблему. Спустя некоторое время необходимо снова проверить индексацию страницы. Если вы все сделаете правильно, положительные изменения не заставят себя долго ждать!

Я рада всех приветствовать на сайт. С вами Екатерина Калмыкова. Наверняка, если вы читаете эту статью, то у вас уже создан блог и вы готовы принимать посетителей. Но вот проблема, кроме ваших друзей или знакомых на него никто не заходит.

«Почему?» — недоумеваете вы. Вроде бы и дизайн классный, и верстку заказывали у , и контент полезный, и даже основные моменты учли, а посещаемости все нет и нет.

И вот вы решили зайти в поиск и посмотреть на какой странице вы вообще отображаетесь. Листаете-листаете, а вас там нет! Вот сюрприз, не правда ли!

Как раз поэтому мы сегодня с вами поговорим о том, почему сайт не индексируется Яндексом или Гуглом.

Прежде всего, индексация — это сканирование страниц ресурса поисковыми роботами, которые в свою через определяют, что у вас за контент, насколько он полезный для посетителей и на какое место в своем списке его поставить в выдаче.

И тут все логично. Вы ведь не покупаете вещи, которые через 2 дня могут испортятся? Так и тут, какой смысл поисковикам добавлять в топ сомнительные ресурсы, которые не будут пользоваться спросом у пользователей.

И первый вопрос, который волнует — это сколько по времени занимает индексация? Здесь точного срока нет. Робот может посетить и через 2 недели, а может и через месяц, как вам повезет. Все потому что веб-ресурсов с каждым днем появляется все больше и больше, и роботы не могут сразу справиться со своей задачей. Согласитесь, вы ведь тоже не сразу узнаете о появлении нового магазина продуктов на соседней улице? Только после того, как баба Галя возле подъезда вам расскажет про него 🙂

Почему блог не индексируется Яндексом или Гуглом

И вот вроде уже прошло достаточно времени, а в поиске вашего проекта все равно нет, почему? Есть несколько причин.

Давайте разберемся в каждой.

1. Неуникальность контента . Роботы могли уже проанализировать ваш блог, однако, увидев у вас материал, который не прошел у них по уникальности, посчитали вас вредоносным объектом и решили к вам больше не заходить, а уж тем более не добавлять в выдачу. Думаю, это понятно!

2. Копия другого сайта . Эта причина напрямую связана с вашей честностью. Есть люди, которые в поисках быстрого заработка стараются не заморачиваться на продумывание дизайна и создают так называемое «зеркало» — копию другого сайта с похожим доменом. В поисковых системах такого не любят, поэтому в отношении вас могут предпринять определенные меры, например, наложить фильтр, который снять очень сложно.

Если эти 2 варианта не про вас, на что я очень надеюсь, тогда перейдем к следующим причинам:

3. Переоптимизация ресурса . Злоупотребление стараниями оптимизировать свой ресурс для пауков может привести к проблемам с индексацией страниц. Так как поисковые системы стараются удовлетворить потребности пользователя, а не свои, поэтому от вас будут требовать того же.

4. Домен с плохой историей . Еще один момент — вы могли приобрести домен, который ранее был заблокирован или находится под фильтром. Такое тоже случается. Чтобы не попасть в такую ситуацию рекомендую ознакомиться со следующими статьями:

7. Запрет аналитики в мета-тегах . Иногда такое случается, поэтому следует проверить их на наличие содержимого типа: или . Они блокируют доступ роботов к сайту.

Как определить индексацию

Быстро определить индексацию достаточно просто. Для этого необходимо зайти на ресурс seogadget.ru . Выбрать «Проверка индексации», добавить имя домена и нажать «Проверить».

После этого смотрим результат.

Вот таким простым способом можно проверить индексацию сайта в Гугл или Яндекс.

Надеюсь после прочтения вам стало понятно, что аналитика сайта пауками очень важна для правильного продвижения. Чтобы ваш проект роботы быстро индексировали, он должен быть качественным во всех его проявлениях: от внешнего оформления до внутреннего содержания.

Удачного вам продвижения!

А вы следите за индексацией своего сайта? Что предпринимаете, если индексация затягивается?

И напоследок я бы хотела вам показать радугу, которую буквально вчера сфотографировала. Казалось бы последний месяц осени, в некоторых городах уже снег лежит, а у нас радуга. Здорово, правда?

Екатерина Калмыкова