Решение любой проблемы начинается с определения причины. Контент может дублироваться по многим причинам — как технического характера, так и связанных с человеческим фактором. Давайте рассмотрим некоторые из наиболее распространенных причин.

Распространение контента. Ваш контент может распространяться на другие сайты, если вы такие договоренности с ними, или даже без вашего согласия. К сожалению, нет гарантии, что поисковые системы предпочтут оригинала.

ID сессий пользователей. При посещении вашего сайта посетители получают ID сессий, генерирующие новые URL-ы. Это также означает дублирование контента.

Версии для печати. ​​Если в ваш сайт есть специальные версии для удобной печати на принтере, они могут рассматриваться поисковыми системами как продублированы страницы.

Версии с или без WWW. Если у вашего сайта есть версия с WWW, а также версия без WWW, и обе версии доступны без 301 редиректа, это может иногда путать поисковые системы.

Архитектурные ошибки. Когда до одной страницы ведут разные пути, это также может стать причиной дублирования контента. К примеру:

веб-адреса с get-параметрами (http://www.site.com/prod=1&type=6 ведет на ту же страницу (http://www.site.com/type=6&prod=1)

страницы пагинации (http://site.com/blog/?page=1, http://site.com/blog/?page=2, http://site.com/blog/?page=3)

веб-адреса в разных регистрах (http://site.com/blog/duplicates, http://site.com/blog/DUBLICATES)

веб-адреса со слешем или без него (http://site.com/blog/duplicates, http://site.com/blog/duplicates/).

Как определить дублирование контента?

Используя инструмент CopyScape , вы получите список веб-адресов с идентичным или похожим контентом. Это включает продублированы страницы в пределах вашего сайта или на других сайтах.

Решение проблемы дублирования контента

Теперь давайте перейдем к полезных способов борьбы с копиями контента.

301 Redirect.  Установка 301 редиректа с продублированы страницы на правильную, оригинальную страницу — отличное решение во многих случаях ..

Теги rel = «canonical».  Используя элемент ссылке rel = canonical, вы объявляете поисковым системам, какая именно версия является «канонизированной», то есть единственной, которую нужно учитывать при индексировании.

Файл robot.txt (disallow).  Файл robots.txt можно использовать, чтобы запретить Google’у и другим поисковым системам заходить на дублированные страницы вашего сайта.

Теги noindex / nofollow.  Метатеги noindex / nofollow сообщают поисковым системам, что текст или его часть не надо индексировать, а по ссылкам не надо переходить ..

Решение «WWW-вопрос».  Если в ваш сайт является версия с WWW и версия без WWW, выберите один вариант, а с другой вариант поставьте редирект.

Осторожное распространение контента.  Если вы распространяете контент по собственному согласию, вот способы защитить свое «авторство»:

Всегда Публикуйтесь на собственном сайте как минимум за неделю до того, как распространите этот контент дальше.Обычно это помогает поисковым системам определить, что оригинал — именно у вас. Но если другой сайт более мощный, а также по ряду других причин, это может не сработать.

Хотя бы немного изменяйте текст перед распространением, чтобы он не был идентичным.

Используйте бэклинки на ваш сайт (или настаивайте на их использовании другой стороной), чтобы показать поисковикам, откуда этот контент.

Надеемся, эти советы будут полезным! В любом случае, чтобы почистить сайт от дублированного контента, вы всегда можете обратиться к сапорт-службу, которая занимается совершенствованием сайтов и решением разного рода проблем на них. Желаем вам никогда не дублировать контент — лучше удваивайте свои доходы! 😉