Уроки программирования html с нуля. Современные уроки HTML для начинающих. Что нужно для работы

Добрый день, друзья! Уже очень давно меня просили читатели блога сделать пост о том, как избавиться от replytocom. Тема эта актуальна, так как из-за этого в индексе получается огромное число похожих страничек с параметрами коммента. Все дело в том, что многие блоги созданы на CMS WordPress, который грешит дубликацией комментариев. Поэтому я решил дать всю информацию не только о replytocom. В статье я раскрываю понятие дублированного контента, даю методику поиска дублей страниц сайта и поясняю, почему от них нужно избавляться. А в следующем посте я покажу, как нужно их удалять.

Дублированный контент на сайте

Дубли бывают разными — тихими и заразными. 🙂 Если серьезно, то дублированная страница — это документ сайта, который может иметь полностью или частично одинаковый контент. Разумеется, каждый дубль имеет свой адрес (url страницы). Четкий дубль страницы может возникнуть по следующим причинам:

искусственно создаются владельцем сайта для специальных нужд. Например, страницы для печати, которые позволяют пользователю коммерческого сайта скопировать информацию по выбранному товару / услуге.
генерируются движком ресурса, так как это у них заложено в теле. Некоторые современные CMS выдают похожие страницы с другими урлами, размещенные по своим разным дерикториям.
появляются за счет ошибок веб-мастера, который управляет сайтом. Например, ресурс обзаводиться двумя одинаковыми главными страницами с разными адресами (например, site.ru и site.ru/index.php).
возникают по случаю изменения структуры сайта. Например, при создании нового шаблона с другой системой урлов, новые страницы со старым контентом получают совершенно другие адреса.

Нечеткий дубль получают страницы, которые частично дублируют контент. Такие страницы имеют общую часть шаблона сайта, но отличаются небольшим контентным наполнением. Например, такими небольшими дублями могут быть страницы ресурса, имеющие результаты поиска или отдельные элементы статьи (например, картинки — такое очень часто бывает во многих шаблонах блогов).

На следующем рисунке я собрал самые частые варианты дублей страниц, которые присущие блогу с движком Вордпресс (без учета различных плагинов и фишек шаблона, которые также частенько создают дублированные документы):

Наличие дублей страниц на сайте может говорить о том, что или веб-мастер не знает об их присутствии, или он просто не умеет с ними бороться. А бороться с ними нужно, так как они приводят к различным ошибкам и проблемам в плане поискового продвижения. Об этом сейчас и поговорим.

Почему нужно удалять дубли страниц

Но какими бы не были пассивными дубли страниц, они могут подложить конкретную свинью владельцу любого сайта или блога. Итак, чем же так опасен дублированный контент? Вот основные проблемы, которые возникают при наличии дублей:

Ухудшение индексации сайта . Я называю это проблемой №1. Дело в том, что в зависимости от источника и ошибок веб-мастера, страница сайта может иметь от одного до нескольких или больше дублей. Например, главная может грешить двумя-тремя дупликатами, а посты блогов из-за вездесущего replytocom скопируются по количеству комментариев. И если блог популярный, то и число «левых» страниц будет огромным. А поисковые системы (особенно Google) не любят дубли и поэтому частенько занижают позиции самого сайта.

Замена релевантной страницы. Алгоритм поисковой системы может посчитать дубль более релевантным, чем продвигаемая страница-оригинал (). Тем самым в выдаче будет находиться не целевая страница, а ее клон. Но у этого клона совсем другие незначительные параметры (ссылочный вес, ), которые со временем пессимизируют сайт в серпе поисковой системы.

Итак, подытожим вышесказанное. Дубли страниц создают помеху в нормальной индексации сайта, становятся источником неправильного выбора поисковиком релевантной страницы, забирают влияние естественных внешних ссылок. Также дубли неправильно распределяют внутренний ссылочный вес, отбирая силу у продвигаемых страниц и меняя поведенческие показатели:

В общем, дубли — это большое зло в поисковом продвижении и страшный сон оптимизатора. 🙂

Как определить и проверить дубли страниц

Есть разные способы поиска и проверки дублей страниц. Они требуют разного уровня знаний CMS и понимание работы поискового индекса. Я покажу самый простой из способов. Это не значит, что если он простой, то не точный. С его помощью легко находятся дубликаты документов сайта. И самое главное — этот способ не требует особых знаний и не займет много времени.

Для того, чтобы найти и проверить свой сайт на наличие дубликатов страниц, нужно или воспользоваться расширенным поиском Яндекса (Гугла) или сразу ввести в поисковую строку специальный запрос. Сначала рассмотрим первый вариант.

Проверка сайта на дубли с помощью расширенного поиска

Расширенный поиск Яндекса позволяет получить более точную выдачу благодаря уточняющим параметрам запроса. В нашем случае нам нужно только два параметра — адрес сайта и кусочек текста той страницы, по которой мы ищем дубли. Сначала мы выделяем текст, который находится на той странице нашего сайта (для примера взят абсолютно чужой ресурс), которую будем проверять на дубли. Затем идет в расширенный поиск Яндекса и вносим в соответствующие позиции кусочек контента и адрес сайта:

Далее мы нажимаем заветное слово «Найти» и русский поисковик начинает формировать выдачу. Она получится не той, которую мы обычно наблюдаем — она будет состоять полностью из заголовков и сниппетов только нашего ресурса. Причем, если в выдаче будет только один результат поиска, то все хорошо — дублированного контента этой страницы нет. Если же есть в полученном серпе несколько результатов, то придется доставать лопату:

В моем примере поисковик нашел несколько нечетких дублей — ряд страниц из пагинации по некоторым рубрикам. Сразу видно, что на данном сайте страница с выделенным текстом про рецепт салата явно размещалась сразу в разных рубриках. А так как запрет на индексацию страниц пагинации для этого ресурса не ставился, в индексе повылазили всевозможные дубли.

Теперь рассмотрим те же действия для зарубежного поисковика. Заходим на страницу расширенного поиска Google и совершаем те же самые действия:

Заполнив все необходимое на расширенном поиске, получаем индексацию исследуемого сайта согласно указанному куску текста:

Как видим, Гугл также проиндексировал неточные дубли исследуемой страницы — в выдаче все те же страницы рубрик.

В принципе получить те же самые результаты можно и не используя расширенный поиск. Для этого нужно в простом варианте Гугла или Яндекса прописать следующий запрос. И в этом заключается второй способ определения дублей.

Поиск дублей страниц с помощью специального запроса

С помощью расширенного поиска легко находятся все дубликаты по заданному тексту. Конечно, с помощью данного способа мы не получим дубли страниц, которые не содержат текст. Например, если дубль создается «кривым» шаблоном, который зачем-то показывает на другой странице картинку, которая находится на странице-оригинале. То такой дубликат выше описанным способом найти не получиться. В таком случае придется использовать другой способ.

Его суть проста — с помощью специального оператора мы запрашиваем индексацию всего нашего сайта (или отдельной страницы) и уже вручную смотрим выдачу в поисках дубликаторов. Вот правила синтаксиса этого запроса:

Когда мы в запросе указываем адрес главной страницы,то получаем просто список проиндексированных страниц поисковым роботом. Если же мы указывает адрес конкретной страницы, то получаем список проиндексированных дублей этой страницы. В Яндексе они сразу видны. А вот в Гугле все немного сложнее — сначала нам покажут те страницы, которые есть в основной выдаче:

Как видно на картинке, в основной выдаче у нас находится одна страница сайта и она же является оригиналом. Но в индексе есть и другие страницы, которые являются дублями. Чтобы их увидеть, нужно нажать на ссылку «Показать скрытые результаты»:

В итоге нам выдается список дублей, которые Гугл проиндексировал и связал со страницей-оригиналом (цифра 1 на картинке). В моем примере такими дублями стали страницы с позициями 2 и 3.

На второй позиции находится дубль, который является трекбэком данного документа ( автоматическое уведомление для других сайтов данной публикации). Вещь конечно нужная, но ее присутствие в индексе не желательно. Хозяин данного сайта это прекрасно понимает и поэтому прописал запрет на индексацию трэкбеков с сайта. Об этом говорит надпись «Описание веб-страницы недоступно из-за ограничений в файле robots.txt». Если посмотреть инструкцию для поисковых систем (robots.txt), то увидим следующую картину:

Благодаря последним директивам, автор сайта указал на запрет индексации трэкбеков. Но к сожалению, Гугл заносит в свой индекс все, что ему попадется под руку. И здесь уже нужно просто удалять дубли из базы данных. об этом поговорим уже во второй статье, посвященной дублированному контенту.

На третьей позиции показан горячо любимый многими блоггерами replytocom. Он получается путем использования комментирования на блогах и сайтах. И благодаря ему возникает просто огромная куча дублей — обычно это количество примерно равно число комментов на ресурсе. В нашем примере этот атрибут, как и трэкбек закрыты для индексации. Но Гугл и его схавал в свой индекс. Тоже нужно чистить вручную.

Кстати, если мы немного изменим наш запрос, то можем получить те же результаты, что дает расширенный поиск дублей по кусочку текста:

Итак, друзья, в этой статье я приоткрыл занавес над понятием дублей страниц и их успешным поиском и проверкой. В качестве закрепления пройденного материала предлагаю посмотреть мой видеоролик на эту тему. В нем я наглядно показал не только сегодняшний материал в двух частях, но и добавил другие примеры дублированного контента:

В следующей статье Вы узнаете, . До встречи!

С уважением, Ваш Максим Довженко

Встречаются практически всегда. Это связано с тем, что разработчики сайта не учли множество нюансов связанных с SEO. Поэтому обычно вопросы с дублями решает оптимизатор совместно с вебмастерами.

1. Что такое дубли страниц на сайте

Дубли страниц - это страницы с разными URL (адрес), но с одинаковым содержимом

Например, одна и та же страница доступна по адресам (код ответа 200)

/category/razdel.html /category/razdel/

Подобных примеров с дублями страниц можно привести очень много. При этом даже если содержание страницы будет немного другое, очень важное значение имеет то, что название страницы, которое прописывается в и <h1> может совпадать. Этого уже достаточно, чтобы создать себе сложности в поисковых системах.</p> <p>Чаще всего проблемы с множеством дублей встречаются в интернет-магазинах. Их каталоги как правило выводится через страницы с номерами:</p> <p>Адреса этих страниц как правило заканчиваются на page=N , где N-номер страницы. Тайтлы и заголовки никто у каждой страницы естественно не меняет. Итого на сайте может присутствовать десятки страниц с одинаковыми заголовками. Например:</p> <blockquote><span>/category/kosmetika?page=1 /category/kosmetika?page=2 /category/kosmetika?page=3 </span> </blockquote> <p>А еще часто добавляют и параметр сортировки sort=alf , тогда количество дублей начинает расти еще быстрее:</p> <blockquote><span>/category/kosmetika?page=1&sort=alf /category/kosmetika?sort=alf&page=1 /category/kosmetika?sort=alf /category/kosmetika?page=1 </span> </blockquote> <p>Возможны и другие варианты сортировок. Получаем, что один тайтл выводится на десятках и даже сотнях страниц с разными URL.</p> <h2>2. Почему важно бороться с дублями страниц</h2> <p>Поисковая машина ранжирует документы согласно своему алгоритму. К примеру, пользователь задал какой-то запрос в поисковике, а у Вас на сайте есть множество страниц с одинаковым заголовком. Какую из этих страниц надо выдать поисковой машине? Непонятно. Также это снижает внутренний вес других страниц. Снижается траст сайта .</p> <p>Дубли страниц оказывают негативное влияние на весь сайт в целом. При этом решить эту проблему можно довольно простыми способами. Давайте для начала кратко рассмотрим варианты поиска дублей страниц.</p> <h2>3. Как найти дубли страниц на сайте</h2> <h3>3.1. Программы сканнеры</h3> <p>Обычно программы-сканеры хорошо ищут дубли страниц внутри сайта переходя по ссылкам. В этом есть большой минус, т.к. если на какую-то доступную страницу нету ссылки, то сканнер просто не сможет ее найти.</p> <p>Бесплатными сканнерами сайта являются:</p> <ul><li>Netpeak spider</li> </ul><h3>3.2. Онлайн сервисы</h3> <p>Существует несколько онлайн сервисов, которые сканируют сайт. Правда, скорее всего, для больших сайтов они не подойдут, поскольку будут иметь ограничения (например, бесплатный анализ не более 500 страниц).</p> <p>В сервисах Яндекс Вебмастер и Google Вебмастер есть специальный разделы в оптимизации HTML, где можно найти повторяющиеся заголовки. Наверное, это один из самых доступных и легких способов для поиска дублей.</p> <h3>3.3. Через запросы</h3> <p>Также есть возможность попробовать поискать дубли через запросы в поиске Яндекса и Гугла повторяющиеся заголовки</p> <blockquote>Для Яндекса: site : urlsite.ru title :(запрос ) Для Google: site : urlsite.ru intitle :запрос </blockquote> <p>Где urlsite.ru - Ваш адрес сайта. Однако этот способ поможет выявнить глобальные проблемы движка, что впрочем мы и хотели.</p> <h3>3.4. Потенциальные дубли</h3> <p>Далеко не все страницы сайта, которые могли быть в индексе проиндексированы. Но лучше заранее предупредить возможность индексации дублей документов. Например, многие движки любят отдавать корректный ответ сервера по следующим адресам:</p> <blockquote><span>/category/razdel /category/razdel/category/ /category/razdel/category/category/category/category/ </span> </blockquote> <p>Если у вас есть конкурент в выдаче (а он зачастую есть), то он может легко насолить Вам просто добавив пару ссылок на такие страницы. При этом появлятся катастрофичное число новых страниц сайта. Потому что как правило все ссылки на сайте относительные.</p> <blockquote><span>/category/razdel/tovar1.html /category/razdel/category/tovar1.html /category/razdel/category/category/category/category/tovar1.html </span> </blockquote> <h2>4. Как удалить дубли сайта из индекса</h2> <p>Дубли страниц бывают разные и бороться с ними нужно по разному. Рассмотрим все возможные случаи.</p> <h3>4.1. Дубли за счет доступности сайта по www и без www</h3> <p>Начнем с самого часто встречающейся ситуации, когда сайт доступен по www и без www. Например</p> <blockquote>www.site.ru/cat/ site.ru/cat/ </blockquote> <p>Эту ситуацию легко поправить, прописав в.htaccess соответствующие директивы (см. редирект 301 с www на без www).</p> <p>Редирект без www на страницу сайта с www (site.ru -> www.site.ru)</p> <blockquote>RewriteEngine On RewriteCond %{HTTP_HOST} ^site.ru RewriteRule (.*) http://www.site.ru/$1 </blockquote> <p>Для обратного редиректа с www на без www (www.site.ru -> site.ru)</p> <blockquote>RewriteEngine On RewriteCond %{HTTP_HOST} ^www.site.ru RewriteRule (.*) http://site.ru/$1 </blockquote> <p>Примечание </p><p>Помимо этих дублей советую прописать в.htaccess другие возможные варианты дублей. Я имею ввиду про добавление.html у директорий:</p> <blockquote>/category/index.html /category/ </blockquote> <p>А так же слэшей</p> <p>Как с этим бороться читайте в отдельных статьях:</p> <h3>4.2. Дубли за счет сортировок и лишних страниц каталога</h3> <p>Каждый такой случай нужно рассматривать более индивидуально, но общие рецепты можно написать можно. Рассмотрим два варианта.</p> <h4>4.2.1. Через мета тег meta robots</h4> <p>Если есть возможность прописать директиву meta на дублях страниц, то лучше всего это сделать:</p> <blockquote><meta name ="robots " content ="noindex,nofollow "> </blockquote> <p>Т.е. этот тег должен выводиться только на страницах:</p> <blockquote>/category/kosmetika?page=2 /category/kosmetika?page=3 /category/kosmetika?page=4 /category/kosmetika?page=4&sort=alf </blockquote> <p>Но не на всем сайте! Сделать это несложно. Например в php можно прописать</p> <blockquote><span>if($_GET["page"] != "" || $_GET["sort"] != "") </span> { echo "<meta name ="robots " content ="noindex,nofollow "; } else { echo "<meta name ="robots " content ="all "; } </blockquote> <h4>4.2.2. Через robots.txt</h4> <p>В корне сайта есть файл robots.txt . В нем можно прописать правила индексирования сайта. При этом сделать это даже проще, чем прописывать теги meta. Но если первый способ сработает на 100%, то задавая запрет индексации через robots.txt мы даем лишь рекомендацию поисковым машинам не индексировать ненужные документы.</p> <p>Одна из основных причин, по которой сайт может терять позиции и трафик - возрастающее количество дублей страниц на сайте. Они могут возникать в результате особенностей работы CMS (движка), желании получить максимум трафика из поиска за счет шаблонного увеличения количества страниц на сайте, а также из-за сознательного или несознательного размещения ссылок третьими лицами на ваши дубли с других ресурсов.</p> <p>Проблема дублей очень тесно перекликается с проблемой поиска канонического адреса страницы поисковым анализатором. В ряде случаев робот может определить канонический адрес, например, если в динамическом URL был изменен порядок параметров:</p> <blockquote> <p>?&cat=<b>10 </b>&product=<b>25 </b></p> </blockquote> <p>По сути, это та же страница, что и</p> <blockquote> <p>Product=<b>25 </b>&cat=<b>10 </b></p> </blockquote> <p>Но в большинстве случаев, особенно при использовании , каноническую страницу определить сложно, поэтому, полные и частичные дубли попадают в индекс.</p> <p>Что интересно, для Яндекса дубли не так страшны, и даже на страницы результатов поиска по сайту (которые являются частичными дублями друг друга) он может приносить хороший трафик, но вот Google к дублям относится более критично (из-за борьбы с MFA и шаблонными сайтами).</p> <h2>Основные методы поиска дублей на сайте</h2> <p>Ниже описаны основные методы, с помощью которых можно быстро найти дубли страниц своего сайта. Используйте их периодически.</p> <h3>1. Гугл-вебмастер</h3> <p>Зайдите в панель Google для вебмастеров. Найдите раздел меню «Оптимизация» – «Оптимизация HTML». На этой странице можно увидеть количество повторяющихся мета-описаний и заголовков TITLE .</p> <p>Таким способом можно найти полные копии страниц, но к сожалению, не определить частичные дубли, которые имеют уникальные, однако, шаблонные заголовки.</p> <h3>2. Программа Xenu</h3> <p>Xenu Link Sleuth - одна из популярных программ оптимизаторов, которая помогает проводить технический аудит сайта и, в том числе, находить дублирующиеся заголовки (если, например, у вас нет доступа к Google-Вебмастеру).</p> <p>Подробней об этой программе написано в обзорной статье . Просто просканируйте сайт, отсортируйте результаты по заголовку и ищите визуальные совпадения заголовков. При всем удобстве, данный способ имеет тот же недостаток - нет возможности найти частичные дубли страниц.</p> <h3>3. Поисковая выдача</h3> <p>Результаты поиска могут отразить не только сам сайт, а также некое отношение поисковой системы к нему. Для поиска дублей в Google можно воспользоваться специальным запросом.</p> <blockquote> <p>site:mysite.ru -site:mysite.ru<b>/& </b></p> </blockquote> <p>Где составляющими являются:</p> <p><b>site:mysite.ru </b> - показывает страницы сайта mysite.ru, находящиеся в индексе Google (общий индекс).</p> <p><b>site:mysite.ru/& </b> - показывает страницы сайта mysite.ru, участвующие в поиске (основной индекс).</p> <p>Таким образом, можно определить малоинформативные страницы и частичные дубли, которые не участвуют в поиске и могут мешать страницам из основного индекса ранжироваться выше. При поиске обязательно кликните по ссылке «повторить поиск, включив упущенные результаты», если результатов было мало, чтобы видеть более объективную картину (см. пример <a target="_blank" href="http://www.google.com/search?q=site:drezex.com.ua+-site:drezex.com.ua/%26">site:</a> drezex.com .ua -site:drezex.com.ua/&).</p> <p><img src='https://i2.wp.com/devaka.ru/wp-content/uploads/2012/10/1163.png' width="100%" loading=lazy></p> <p>Теперь, когда вы нашли все дубли страниц, можете их смело удалять, откорректировав движок сайта или добавив тег в заголовки страниц.</p> <p>Дубль страницы - это еще одна копия страницы сайта, аналогичная по содержанию и наполнению. Выделяют два вида дублей:</p> <ol><li><span>Полный дубликат страницы </span> - когда содержимое полностью идентично;</li> <li><span>Частичный дубликат </span> - когда наполнение страницы по большей степени одинаковое, но имеются отдельные различные элементы.</li> </ol><h2>Почему дубли страниц плохо влияют на ранжирование сайта?</h2> <p>Поисковые системы воспринимают эти страницы, как отдельные страницы сайта, поэтому их наполнение из-за дублирования информации перестает быть уникальным. Кроме того, понижается ссылочный вес страницы, если она имеет дубль. Небольшое количество дублированных страниц может не стать большой проблемой, однако если их более 50% - вам срочно нужно исправлять ситуацию.</p> <h2>Откуда берутся дубли?</h2> <p>Самая распространенная причина - это генерация дублей страниц системой управления из-за неправильных настроек. Самый известный пример - CMS Joomla, с проблемой дублей на ней приходится сталкиваться чуть ли не на каждом сайте.</p> <p>Частичные дубли часто встречаются на сайтах интернет-магазинов:</p> <ul><li>Они могут появляться на страницах пагинации, если те содержат одинаковый текст, изменяя лишь товары;</li> <li>Неправильные настройки фильтра по каталогу могут порождать частичные и полные дубли;</li> <li>Страницы карточек товаров могут стать дубликатами, если товар, к примеру, отличается лишь цветом или размером (для таких товаров нужно делать одну карточку с указанием всех характеристик).</li> </ul><h2>Как найти дубли страниц?</h2> <p>Есть несколько способов поиска дубликатов страниц, каждый из которых может дать разные результаты.</p> <p>1. Некоторые распространенные варианты дублей можно проверить вручную. </p> <ul><li>Настроено ли главное зеркало сайта (доступен ли он с www и без www);</li> <li>Имеются ли нечеткие дубли со / и без / на конце url;</li> <li>Наличие дублей с index.html, index.asp, index.php в конце url;</li> <li>Доступность страницы с буквами как в нижнем, так и в верхнем регистре, также порождает дубли.</li> </ul><p>2. Проанализировать страницы, проиндексированные поисковыми системами. </p> <p>Для этого в Google достаточно ввести запрос <i>site:mysite.com </i>- он покажет страницы общего индекса, то есть все, что поисковик успел проиндексировать на сайте.</p> <p><img src='https://i0.wp.com/seo.kasper.by/kscms/uploads/editor/files/screenshot-www.google.by_2014-12-05_16-35-07.png' width="100%" loading=lazy></p> <p>3. Поиск по фрагменту текста </p> <p>Вбивая в поиск длинные фрагменты текста, можно найти места, где он повторяется (а заодно и сайты, которые скопировали ваш текст). Но здесь есть два минуса: метод подходит, если на сайте мало страниц, и то, что поисковая система может анализировать запрос до определенной длины.</p> <p><img src='https://i2.wp.com/seo.kasper.by/kscms/uploads/editor/files/screenshot-www.google.by_2014-12-05_16-54-52.png' width="100%" loading=lazy></p> <p>4. Заглянуть в панель вебмастера Google </p> <p>В разделе «Вид в поиске» находим вкладку «оптимизация HTML» и ищем значение поля «Повторяющиеся метаописания» и «Повторяющиеся заголовки». Нажав на них, можно увидеть список всех страниц с повторяющимися тегами title и description и сами заголовки и описания.</p> <p><img src='https://i0.wp.com/seo.kasper.by/kscms/uploads/editor/files/screenshot-www.google.com_2014-12-05_16-57-23.png' width="100%" loading=lazy></p> <p>5. Воспользоваться программой Xenu`s Link Sleuth </p> <p>Программа распространяется бесплатно и способна определить url всех страниц сайта, включая скрипты и картинки, а также внешние ссылки. Кроме дубликатов в ней удобно искать битые ссылки - страницы, которые возвращают код 404.</p> <p><img src='https://i2.wp.com/seo.kasper.by/kscms/uploads/editor/files/page.png' width="100%" loading=lazy></p> <h2>Как устранить дубли страниц?</h2> <p>Для этого существует 4 действенных способа, самыми жесткими из которых. По нашему мнению, являются первые два.</p> <p>1. Ручное удаление </p> <p>Это можно сделать на небольших сайтах, хорошенько разобравшись в своей системе управления и сделав правильные настройки, чтобы предотвратить последующее появление дубликатов страниц.</p> <p>2. Настройка 301 редиректа </p> <p>301 редирект - это постоянное перенаправление пользователей с одной страницы на другую, что приводит к их склеиванию. Он позволяет передать странице до 99% ссылочного веса, как внутреннего, так и внешнего.</p> <p>По поводу использования 301 редиректа написаны целые мануалы. Поэтому здесь мы вкратце приведем самые нужные для устранения дублей. Настраивается он либо через файл.htaccess в корневой директории сайта, либо через программный код.</p> <p>Чтобы настроить главное зеркало, необходимо прописать следующий код:</p> <p>1 - для редиректа с www на без www</p> <p>Чтобы склеить нечеткие дубли со / и без него, воспользуйтесь кодом:</p> <p>1 - убрать слэш</p> <p>Постраничный редирект выглядит так:</p> <table><tbody><tr><td class="code" style="background-color: rgb(204, 204, 204);"> <span>Redirect 301 /oldpage.html http://www.site.com/newpage.html </span> </td> </tr></tbody></table><p>Для формирования более сложных редиректов потребуется воспользоваться правилами. Существуют специальные сервисы, где можно сгенерировать код для настройки редиректа по определенному шаблону:</p> <p>3. Использовать Rel=”Canonical” </p> <p>Этот вариант лучше использовать в случае частичных дублей, так как неканоническая страница при этом не удаляется физически с сайта и доступна пользователям.</p> <p>Для того, чтобы настроить канонические url , в коде страниц в блоке head прописывается ссылка:</p> <p><i>«link rel="canonical" href="http://site.com/kopiya"/» </i> </p> <p>4. Настройка Robots.txt </p> <p>Также действенный способ, но удалить уже проиндексированные дубликаты таким образом будет сложно.</p> <p>С помощью директивы Disallow указываются все адреса и их типы, на которые роботам поисковых систем не стоит заходить для индексации. Например:</p> <p><i>User-agent: Yandex </i> </p> <p><i>Disallow: /index* </i> </p> <p>Говорит о том, что поисковому боту Яндекс не стоит заходить на страницы, url которых содержит index.</p> <p>Найти и устранить все дубликаты - основная задача на первых этапах продвижения сайта, иначе можно взяться просто не за те страницы, и долго искать проблему.</p> <script>document.write("<img style='display:none;' src='//counter.yadro.ru/hit;artfast_after?t44.1;r"+ escape(document.referrer)+((typeof(screen)=="undefined")?"": ";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth? screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+";h"+escape(document.title.substring(0,150))+ ";"+Math.random()+ "border='0' width='1' height='1' loading=lazy>");</script> </div> <div class="comment_box" id="comments"> </div> </div> <div id="sidebar"> <div class="widget widget_nav_menu" id="nav_menu-2"> <div class="menu-mainmenu-container"> <ul id="menu-mainmenu-2" class="menu"> <li class="submenu"><a href="/category/internet/">Интернет</a> </li> <li class="submenu"><a href="/category/programs/">Программы</a> </li> <li class="submenu"><a href="/category/instructions/">Инструкции</a> </li> <li class="submenu"><a href="/category/browsers/">Браузеры</a> </li> <li class="submenu"><a href="/category/windows-10/">Windows 10</a> </li> <li class="submenu"><a href="/category/android/">Android</a> </li> <li class="submenu"><a href="/category/ios/">Ios</a> </li> <li class="submenu"><a href="/category/communication/">Связь</a> </li> </ul> </div> </div> <div class="widget"> <div class="heading star">Последние записи</div> <div class="popular_posts"> <div class="news_box"> <a href="/skolko-operativnoi-pamyati-v-aifone-apple-iphone-se---tehnicheskie.html" class="thumb"><img width="95" height="95" src="/uploads/4dbc9a2af368270fa06da22fcc9ba02a.jpg" class="attachment-mini size-mini wp-post-image" alt="Apple iPhone SE - Технические характеристики Айфон се оперативная память" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/skolko-operativnoi-pamyati-v-aifone-apple-iphone-se---tehnicheskie.html">Apple iPhone SE - Технические характеристики Айфон се оперативная память</a> </div> </div> </div> <div class="news_box"> <a href="/lg-e975-opisanie-smartfon-lg-optimus-g-e975-harakteristiki-obzor-otzyvy-osnovnaya.html" class="thumb"><img width="95" height="95" src="/uploads/d6dc631d966464bae59ea255475bd30c.jpg" class="attachment-mini size-mini wp-post-image" alt="Смартфон LG Optimus G E975: характеристики, обзор, отзывы" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/lg-e975-opisanie-smartfon-lg-optimus-g-e975-harakteristiki-obzor-otzyvy-osnovnaya.html">Смартфон LG Optimus G E975: характеристики, обзор, отзывы</a> </div> </div> </div> <div class="news_box"> <a href="/ne-udaetsya-podklyuchitsya-k-appstore-iphone-3g-pochemu-ne-uda-tsya-podklyuchitsya-k.html" class="thumb"><img width="95" height="95" src="/uploads/2d716bf5a32a0c5e7d45e8071c8b3b67.jpg" class="attachment-mini size-mini wp-post-image" alt="Почему не удаётся подключиться к iTunes Store: причины и решение проблемы" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/ne-udaetsya-podklyuchitsya-k-appstore-iphone-3g-pochemu-ne-uda-tsya-podklyuchitsya-k.html">Почему не удаётся подключиться к iTunes Store: причины и решение проблемы</a> </div> </div> </div> <div class="news_box"> <a href="/ne-rabotaet-ks-go-pochemu-ne-zapuskaetsya-ks-go-spisok-oshibok-i-puti.html" class="thumb"><img width="95" height="95" src="/uploads/850581dd9a6514e754a9284d1f473389.jpg" class="attachment-mini size-mini wp-post-image" alt="Почему не запускается КС: ГО" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/ne-rabotaet-ks-go-pochemu-ne-zapuskaetsya-ks-go-spisok-oshibok-i-puti.html">Почему не запускается КС: ГО</a> </div> </div> </div> <div class="news_box"> <a href="/maikrosoft-pochta-365-my-adept-putevye-zametki-vse-eti-sluzhby.html" class="thumb"><img width="95" height="95" src="/uploads/7847e40b0fb0037d94d0e6ede8115d67.jpg" class="attachment-mini size-mini wp-post-image" alt="MY adept путевые заметки" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/maikrosoft-pochta-365-my-adept-putevye-zametki-vse-eti-sluzhby.html">MY adept путевые заметки</a> </div> </div> </div> </div> </div> <div class="widget"> <div class="heading star">Популярное</div> <div class="popular_posts"> <div class="news_box"> <a href="/dlya-chego-nuzhen-mobilnyi-telefon-cheloveku-dlya-chego-nuzhny-sistemnye-telefony.html" class="thumb"><img width="95" height="95" src="/uploads/f9ee708f31a18338358d68ddf1526fcb.jpg" class="attachment-mini size-mini wp-post-image" alt="Для чего нужны системные телефоны?" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/dlya-chego-nuzhen-mobilnyi-telefon-cheloveku-dlya-chego-nuzhny-sistemnye-telefony.html">Для чего нужны системные телефоны?</a> </div> </div> </div> <div class="news_box"> <a href="/eset-nod32-antivirus-skachat-besplatno-russkaya-versiya-eset-nod32-antivirus.html" class="thumb"><img width="95" height="95" src="/uploads/2766985a1a645b650496e73ad083123a.jpg" class="attachment-mini size-mini wp-post-image" alt="ESET NOD32 Antivirus скачать бесплатно русская версия Скачать нод 32 на русском языке" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/eset-nod32-antivirus-skachat-besplatno-russkaya-versiya-eset-nod32-antivirus.html">ESET NOD32 Antivirus скачать бесплатно русская версия Скачать нод 32 на русском языке</a> </div> </div> </div> <div class="news_box"> <a href="/bezopasnyi-rezhim-raboty-kak-dobavit-vneshnyuyu-pechatnuyu-formu-ili.html" class="thumb"><img width="95" height="95" src="/uploads/6cb3a97d7de056d23923daa67e01b81a.jpg" class="attachment-mini size-mini wp-post-image" alt="Как добавить внешнюю печатную форму или обработку 1с 8" sizes="(max-width: 95px) 100vw, 95px" / loading=lazy></a> <div class="element"> <div class="title"> <a href="/bezopasnyi-rezhim-raboty-kak-dobavit-vneshnyuyu-pechatnuyu-formu-ili.html">Как добавить внешнюю печатную форму или обработку 1с 8</a> </div> </div> </div> </div> </div> <div class="widget"> <div class="heading">Новости</div> <div class="business_news"> <div class="news"> <div class="date">2024-06-20 01:35:51</div> <a href="/obnovlenie-spravochnika-identifikatory-obektov-metadannyh-ne.html" class="title">Создание нового документа с печатными формами Обработка инструменты разработчика обновление вспомогательных данных</a> </div> <div class="news"> <div class="date">2024-06-17 01:31:38</div> <a href="/test-po-informatike-sistemy-schisleniya-test-po-informatike-na-temu.html" class="title">Тест по информатике на тему «Системы счисления</a> </div> <div class="news"> <div class="date">2024-06-17 01:31:38</div> <a href="/ustanovka-prilozhenii-za-dengi-android-s-pomoshchyu-kakih.html" class="title">С помощью каких программ можно заработать на Андроиде?</a> </div> <div class="news"> <div class="date">2024-06-16 01:30:33</div> <a href="/instrukciya-po-ekspluatacii-samsung-galaksi-tab-3-na-russkom-yazyke-rabota-s.html" class="title">Работа с южнокорейскими планшетными устройствами</a> </div> <div class="news"> <div class="date">2024-06-16 01:30:33</div> <a href="/pereproshivka-htc-desire-sv-proshivka-htc-desire-sv-vozmozhnye-soobshcheniya-ob.html" class="title">Перепрошивка htc desire sv</a> </div> </div> </div> <div class="widget ai_widget" id="ai_widget-5"> <div class='dynamic dynamic-13' style='margin: 8px 0; clear: both;'> </div> </div> </div> </div> </div> </div> <div id="footer"> <div class="fixed"> <div class="inner"> <div class="footer_l"> <a href="/" class="logo" style="background:none;">viws.ru</a> <div class="copyright"> <p>viws.ru - Все о современной технике. Поломки, соцсети, интернет, вирусы</p> <p><span>© 2024 - Все права защищены</span></p> </div> </div> <div class="footer_c"> <ul id="menu-topmenu-1" class="nav"> <li><a href="/feedback.html">Контакты</a></li> <li><a href="">О сайте</a></li> <li><a href="">Реклама на сайте</a></li> </ul> <div class="footer_menu"> <ul id="menu-nizhnee-1" class=""> <li id="menu-item-"><a href="/category/internet/">Интернет</a></li> <li id="menu-item-"><a href="/category/programs/">Программы</a></li> <li id="menu-item-"><a href="/category/instructions/">Инструкции</a></li> <li id="menu-item-"><a href="/category/browsers/">Браузеры</a></li> </ul> <ul id="menu-nizhnee-2" class=""> <li id="menu-item-"><a href="/category/internet/">Интернет</a></li> <li id="menu-item-"><a href="/category/programs/">Программы</a></li> <li id="menu-item-"><a href="/category/instructions/">Инструкции</a></li> <li id="menu-item-"><a href="/category/browsers/">Браузеры</a></li> </ul> </div> </div> </div> </div> </div> </div> <script type="text/javascript">jQuery(function($) { $(document).on("click", ".pseudo-link", function(){ window.open($(this).data("uri")); } );} );</script> <script type='text/javascript' src='https://viws.ru/wp-content/plugins/contact-form-7/includes/js/scripts.js?ver=4.9.2'></script> <script type='text/javascript' src='https://viws.ru/wp-content/plugins/table-of-contents-plus/front.min.js?ver=1509'></script> <script type='text/javascript' src='https://viws.ru/wp-content/themes/delo/assets/scripts/theme.js'></script> <script type='text/javascript'> var q2w3_sidebar_options = new Array(); q2w3_sidebar_options[0] = { "sidebar" : "sidebar", "margin_top" : 60, "margin_bottom" : 200, "stop_id" : "", "screen_max_width" : 0, "screen_max_height" : 0, "width_inherit" : false, "refresh_interval" : 1500, "window_load_hook" : false, "disable_mo_api" : false, "widgets" : ['text-8','ai_widget-5'] } ; </script> <script type='text/javascript' src='https://viws.ru/wp-content/plugins/q2w3-fixed-widget/js/q2w3-fixed-widget.min.js?ver=5.0.4'></script> <script async="async" type='text/javascript' src='https://viws.ru/wp-content/plugins/akismet/_inc/form.js?ver=4.0.1'></script> </body> </html>