Появление на сайте повторяющихся веб-страниц — это проблема, которая часто вызывает резкое падение рейтинга в результатах поисковых систем и уменьшение количества посетителей. А это снижает доход, который получает владелец интернет-магазина, блога или интернет-портала..
Еще одно следствие появления дубликатов — потеря страниц из публикации Google. В этом случае посетители никогда не смогут увидеть категории, карты продуктов или полезные статьи, для которых была сделана самая высокая ставка..
Почему повторяющиеся страницы — это плохо?
Причины дублирования страниц могут быть разными:
- Автоматическая генерация;
- Ошибки в структуре сайта;
- Неправильное распределение одного кластера на две страницы и другие.
Дублирующиеся страницы — это плохо, потому что поисковые роботы хуже ранжируют страницы. И чем больше таких страниц, тем больше поисковых роботов предупреждает о том, что этот сайт не достоин быть в верхней части списка..
Что происходит с сайтом, на котором есть повторяющиеся страницы?
Его положение снижено. Обе страницы с одинаковым контентом теряют позиции и посещаемость.
Уменьшен процент уникальности текстового контента. Следовательно, уникальность всего сайта снизится..
Уменьшает вес URL-адресов сайтов. По каждому запросу в результаты поиска попадает только одна страница, а при наличии нескольких одинаковых страниц каждая из них теряет позиции..
Время индексации увеличивается. Чем больше страниц, тем дольше бот индексирует ваш сайт. Для крупных сайтов проблемы с индексированием могут существенно повлиять на поисковый трафик..
Запрет поисковыми системами. Как правило, они могут удалить вас на неопределенный срок.
В общем, понятно, что дубликаты никому не нужны. Давайте узнаем, как найти и нейтрализовать повторяющиеся страницы на сайте.
Как найти повторяющиеся страницы?
Первое, что вам нужно сделать перед удалением повторяющихся веб-страниц, — это найти причину этой проблемы. В большинстве случаев это:
Недостатки CMS. Популярные движки призваны упростить процесс создания сайта сразу после аренды хостинга и регистрации домена. Проще говоря, даже пользователи с технологическими навыками могут легко создать блог или интернет-магазин на WordPress или OpenCart за 15-30 минут. Однако часто настройки неидеальны и могут вызвать различные проблемы на сайте. Включая дубликаты.
Неправильные настройки фильтра и поиска. Если фильтры установлены в категориях интернет-магазина, вполне вероятно, что поисковые системы будут индексировать страницы с отфильтрованными результатами. Их содержимое, даже при выборе разных групп фильтров, может быть идентичным, в результате чего создается множество дубликатов. Та же история с внутренним поиском по сайту. Страницы сгенерированных результатов могут быть одинаковыми для похожих запросов. И в этом случае удалять повторяющиеся страницы на сайте нужно быстро..
Ошибки и упущения в структуре. Представьте себе ситуацию: веб-мастер, который ведет интернет-магазин женской обуви, решил создать отдельные категории для групп товаров одного размера. Однако при этом не учтено, что модель № 1, модель № 2 и модель № 3 представлены одновременно в трех размерах: 36, 37 и 38. 37 размеров »и« Обувь 38 размера и три одинаковых раздела, которые отличаются только заголовками и метатегами..
Просмотр сайта в специализированной программе
Screaming Frog SEO Spider (это веб-сайт, который позволяет сканировать URL-адреса веб-сайтов для анализа и проверки технического и местного SEO) подходит для поиска дубликатов. Сканирование начинается, а затем проверяется наличие повторяющихся URL-адресов в каталоге..
Онлайн-сервисы
Duplicate Cleaner — SearchMyFiles, Fast Duplicate File Finder и другие.
Выбирается от 5 до 7 типовых страниц сайта. Например, это могут быть: главная страница, страница распространения, продукты, страница услуг, статьи блога и другие важные страницы в зависимости от типа сайта..
Введите его в поле «Поиск повторяющихся страниц» и нажмите кнопку поиска:
Консоль Google Search для веб-мастеров.
Вы можете найти повторяющиеся страницы с помощью собственных инструментов поиска — Google Search Console.
Как удалить повторяющиеся страницы на сайте?
Есть много способов справиться с повторяющимися страницами. По возможности стоит воспользоваться ручным методом. Но такая возможность доступна не всегда, потому что здесь требуются серьезные навыки программирования: как минимум, вы должны быть хорошо знакомы с особенностями CMS вашего сайта..
Другие методы не требуют специальных знаний и также могут дать хорошие результаты. Давайте их разделим.
Перенаправить 301
Статус 301 означает, что веб-ресурс (страница) окончательно перемещен на новый веб-адрес. Веб-клиенты больше не должны использовать старый веб-адрес и теперь должны использовать новый веб-адрес..
Редирект 301 — самый надежный способ избавиться от дублирования, но в то же время он наиболее требователен к профессиональным навыкам программиста..