Дубли страниц: какой вред, как найти и что делать?

Присутствие внутренних дублей страниц на сетевом ресурсе может привести к ошибкам в индексации сайта. Кроме этого наличие дублей страниц может привести к тому, что все результаты продвижения ресурса сведутся на нет. Например, в том случае если на страницах, продвижением которых вы занимаетесь, присутствуют дубли, то после осуществления очередного апдейта любой из них может заменить нужную страницу в выдаче. Это в свою очередь в большинстве случаев приводит к существенному проседанию позиций. Происходит это в связи с тем, что у дубля в отличии от страницы которую вы продвигаете, нет никакой ссылочной массы.

Откуда могут браться дубли страниц?

Дубли страниц бывают как нечеткими, так и четкими

Четкими дублями являются страницы, на которых размещен полностью идентичный контент и которые имеют разный URL-адрес. Возьмем, к примеру, оригинальную страницу и страницу для печати, страницы с индентификаторами сессий, а также одинаковые страницы, но с разными расширениями (.php, html, htm). Большая часть дублей, как правило, генерируется движком сайта, однако встречаются такие, которые появляются в результате банальной невнимательности вебмастера. Например, различные URL для главной страницы ресурса, встречалось у наших клиентов такие случаи когда «морда» статичного ресурса, не имеющего собственного движка была доступна сразу по трем URL-адресам: site.ru/default.html, site.ru/index.html и site.ru/.

Нередко встречаются случаи когда четкие дубли появляются после того как выполнили замену структуры и дизайна сайта, при этом все странички получают новые URL-адреса. Однако и старые адреса никуда не исчезают и тоже работают по-прежнему. В результате этого получается так, что каждая из страниц ресурса доступна по 2 различным URL.

В свою очередь нечеткими дублями являются странички, на которых размещен хоть и разный, однако, вместе с тем в большинстве аспектов очень похожий контент.

В том числе:

— где контентная часть по своему объему намного меньше сквозной части: страницы галерей (в которых содержание страницы состоит лишь из 1 картинки, а остальное – просто сквозные блоки), страницы товарных позиций описание товара на которых состояло всего из одного предложения и т.д.

– страницы, на которых частично либо полностью, однако в разном порядке повторяется одинаковое содержание. К примеру, страницы категорий различной продукции в сетевых магазинах, на которых однотипные товары отсортированы по различным показателям, например по рейтингу, по цене, по новизне, и т.д. или странички рубрик, где пересекаются однотипные товары, имеющие одно и то же описание. А также страницы с анонсами новостей (если однотипный анонс используется сразу на нескольких страницах), страницы поиска по сайту, и так далее.

Как можно точно выяснить, есть ли на ресурсе дубли?

Точно определить есть ли на ресурсе дубли страниц можно при помощи поисковой системы Яндекс. Для того что бы осуществить поиск дублей нужно кусок текста странички которую подозревают в дублях ввести в поисковую строку в расширенном поиске указав при этом в строчке «на сайте» принадлежащий вам домен. Кусок текста необходимо вводить только в кавычках. Все страницы, которые найдет Яндекс, могут быть нечеткими либо четкими дублями.

Также выявить дубли можно при помощи поисковой системы Google.

Что бы осуществить это необходимо в строку поиска ввести в кавычках фрагмент текста проверяемой страницы и через пробел произвести указание области поиска – site:examplesite.ru.

В случае обнаружения дублей страницы это будет выглядеть следующим образом:

Какими способами можно избавиться от дублей страниц?

Самый оптимальный и сравнительно простой способ избавления от дублей страницы зависит напрямую от того каким именно образом появился дубль на ресурсе и нужно ли его оставить в индексе. Такая необходимость может иметь место в том случае если это страница товарной категории или галереи.

Директива Disallow в Robots.txt

Директива “Disallow” в основном применяется для запрета индексации страниц ресурса поисковыми роботами, а также для удаления из базы уже проиндексированных страниц. Данный вариант является наиболее оптимальным в тех случаях, когда дубли страниц расположены в конкретных директориях либо если сама структура URL дает возможность закрыть несколько дублей одним правилом.

Например, в том случае если нужно закрыть все без исключения страницы с результатами поиска по ресурсу находящиеся в папке www.examplesite.ru/search/, достаточно в Robots.txt прописать следующее правило:

Disallow: /search/

В качестве другого примера можно привести следующий. Если знак «?» является непосредственным идентификатором сеанса, то можно запретить индексацию всех без исключения страниц, которые содержат  этот знак, одним правилом:

Disallow: /*?

Так можно запрещать к индексации четкие дубли: страницы идентификаторов сессий, страницы для печати, и так далее, страницы поиска по сайту и так далее

Тег rel=canonical

Тег rel=canonical применяется для того, чтоб указать поисковым роботам, какая страница из группы дублей должна принимать участие в поиске. Такую страницу называют канонической. Для того, чтоб указать ее поисковым роботам, нужно на второстепенных страницах прописать URL канонической страницы:

< link rel=»canonical» href=»http://www.examplesite.ru/osnovnaya-stranica.html» >

Этот метод избавления от дублей лучше всего подходит в тех случаях, когда дублей достаточно много, однако стоит учитывать, что закрыть их единым правилом в Robots.txt нельзя  из-за особенностей URL.

301 редирект

301 Permanent Redirect применяется для осуществления переадресации поисковых ботов и пользователей с одной страницы на другую. Применять 301 Permanent Redirect  необходимо в том случае, если некоторые страницы из-за смены структуры сайта либо движка поменяли URL, и одна и та же страница стала доступна как по старому, так и по новому URL. 301 Permanent Redirect дает сигнал поисковым роботам, что страница окончательно сменила старый адрес на новый, в результате чего вес старой страницы в подавляющем большинстве случаев полностью передается новой.

Настроить редирект с одной страницы на другую возможно, прописав в файле .htaccess следующее правило:

Redirect 301 /category/old-page.html http://www.melodina.ru/category/new-page.html

Также при необходимости можно настроить массовый редирект со страниц одного типа на страницы другого типа, однако для этого необходимо, чтобы у них структура URL была идентичной.

Творческий подход

Иногда случается так, что странички, которые имеют признаки нечетких дублей на самом деле содержат полезный контент и удалять их из индекса нет надобности. В этом случае возникает вполне резонный вопрос – что делать? Нужно в таком случае уникализировать, добавлять либо менять контент.

Например, если проблема с нечеткими дублями появилась по причине слишком объемной навигации, то необходимо поискать способы, при помощи которых можно увеличить контентную часть, либо же уменьшить сквозные блоки.

Нередко бывает так, что страницы с описаниями, например товаров относящихся к одной и той же категории похожи друг на друга. Такой текст уникализировать не всегда возможно, а закрывать контент к индексации нецелесообразно, так как это уменьшит контентную часть. В данном случае можно добавить на страницы интересные и содержательные блоки, например: списки отличий от других товаров, отзывы о товарах, и т.д.

Если в различных рубриках выводится слишком много однотипных товаров имеющих одинаковые описания, также можно использовать творческий подход. Например, есть сетевой магазин по продаже сумок, где одни и те же товары выводятся одновременно в нескольких категориях. Например, женская сумка из кожи с ручкой от Chanel может выводиться одновременно в таких четырех категориях как кожаные сумки, женские сумки, сумки Chanel, а также сумки с ручкой.

В этом, конечно же, ничего плохого нет, так как данная сумочка на самом деле подходит для всех четырех указанных выше категорий, однако в том случае если анонс с описанием сумочки выводится во всех данных категориях, то это может навредить в том случае, если таких пересекающих товаров встречается достаточно много. В этом случае нужно либо автоматом менять описания к сумочкам в зависимости от категории, либо же не выводить анонсы на страницах рубрик. В крайнем случае, можно анонсы сократить по возможности до минимума.

Например: Стильная [женская] [кожаная] cумка черного цвета [Chanel] [с ручкой] на каждый день.

За время своей работы я нужно заметить встречал достаточно много различных вариантов внутренних дублей на ресурсах разной степени сложности. Однако ни разу я не сталкивался с такой проблемой, которую бы решить не было бы возможности. Самое главное вовремя избавиться от дублей пока нужные странички не станут выпадать из индекса, в результате чего ресурс будет терять трафик.