Как найти и удалить повторяющиеся страницы на сайте?

Как найти и удалить повторяющиеся страницы на сайте?

Появление на сайте повторяющихся веб-страниц — это проблема, которая часто вызывает резкое падение рейтинга в результатах поисковых систем и уменьшение количества посетителей. А это снижает доход, который получает владелец интернет-магазина, блога или интернет-портала..

Еще одно следствие появления дубликатов — потеря страниц из публикации Google. В этом случае посетители никогда не смогут увидеть категории, карты продуктов или полезные статьи, для которых была сделана самая высокая ставка..

Почему повторяющиеся страницы — это плохо?

Причины дублирования страниц могут быть разными:

  • Автоматическая генерация;
  • Ошибки в структуре сайта;
  • Неправильное распределение одного кластера на две страницы и другие.

Дублирующиеся страницы — это плохо, потому что поисковые роботы хуже ранжируют страницы. И чем больше таких страниц, тем больше поисковых роботов предупреждает о том, что этот сайт не достоин быть в верхней части списка..

Что происходит с сайтом, на котором есть повторяющиеся страницы?

Его положение снижено. Обе страницы с одинаковым контентом теряют позиции и посещаемость.

Уменьшен процент уникальности текстового контента. Следовательно, уникальность всего сайта снизится..

Уменьшает вес URL-адресов сайтов. По каждому запросу в результаты поиска попадает только одна страница, а при наличии нескольких одинаковых страниц каждая из них теряет позиции..

Время индексации увеличивается. Чем больше страниц, тем дольше бот индексирует ваш сайт. Для крупных сайтов проблемы с индексированием могут существенно повлиять на поисковый трафик..

Запрет поисковыми системами. Как правило, они могут удалить вас на неопределенный срок.

В общем, понятно, что дубликаты никому не нужны. Давайте узнаем, как найти и нейтрализовать повторяющиеся страницы на сайте.

Как найти повторяющиеся страницы?

Первое, что вам нужно сделать перед удалением повторяющихся веб-страниц, — это найти причину этой проблемы. В большинстве случаев это:

Недостатки CMS. Популярные движки призваны упростить процесс создания сайта сразу после аренды хостинга и регистрации домена. Проще говоря, даже пользователи с технологическими навыками могут легко создать блог или интернет-магазин на WordPress или OpenCart за 15-30 минут. Однако часто настройки неидеальны и могут вызвать различные проблемы на сайте. Включая дубликаты.

Неправильные настройки фильтра и поиска. Если фильтры установлены в категориях интернет-магазина, вполне вероятно, что поисковые системы будут индексировать страницы с отфильтрованными результатами. Их содержимое, даже при выборе разных групп фильтров, может быть идентичным, в результате чего создается множество дубликатов. Та же история с внутренним поиском по сайту. Страницы сгенерированных результатов могут быть одинаковыми для похожих запросов. И в этом случае удалять повторяющиеся страницы на сайте нужно быстро..

Ошибки и упущения в структуре. Представьте себе ситуацию: веб-мастер, который ведет интернет-магазин женской обуви, решил создать отдельные категории для групп товаров одного размера. Однако при этом не учтено, что модель № 1, модель № 2 и модель № 3 представлены одновременно в трех размерах: 36, 37 и 38. 37 размеров »и« Обувь 38 размера и три одинаковых раздела, которые отличаются только заголовками и метатегами..

Просмотр сайта в специализированной программе

Screaming Frog SEO Spider (это веб-сайт, который позволяет сканировать URL-адреса веб-сайтов для анализа и проверки технического и местного SEO) подходит для поиска дубликатов. Сканирование начинается, а затем проверяется наличие повторяющихся URL-адресов в каталоге..

Онлайн-сервисы

Duplicate Cleaner — SearchMyFiles, Fast Duplicate File Finder и другие.

Выбирается от 5 до 7 типовых страниц сайта. Например, это могут быть: главная страница, страница распространения, продукты, страница услуг, статьи блога и другие важные страницы в зависимости от типа сайта..

Введите его в поле «Поиск повторяющихся страниц» и нажмите кнопку поиска:

Консоль Google Search для веб-мастеров.

Вы можете найти повторяющиеся страницы с помощью собственных инструментов поиска — Google Search Console.

Как удалить повторяющиеся страницы на сайте?

Есть много способов справиться с повторяющимися страницами. По возможности стоит воспользоваться ручным методом. Но такая возможность доступна не всегда, потому что здесь требуются серьезные навыки программирования: как минимум, вы должны быть хорошо знакомы с особенностями CMS вашего сайта..

Другие методы не требуют специальных знаний и также могут дать хорошие результаты. Давайте их разделим.

Перенаправить 301

Статус 301 означает, что веб-ресурс (страница) окончательно перемещен на новый веб-адрес. Веб-клиенты больше не должны использовать старый веб-адрес и теперь должны использовать новый веб-адрес..

Редирект 301 — самый надежный способ избавиться от дублирования, но в то же время он наиболее требователен к профессиональным навыкам программиста..

Понравилась статья? Поделиться с друзьями:
Новости о СЕО индустрии, интернета и поисковых технологиях