Вопрос:
На один и тот же материал сайт выдает несколько разных ссылок. Появляются «Повторяющиеся заголовки» (теги title). Как это убрать? И как удалить из индекса поисковых систем?
Ответ:
Для удаления из индекса поисковых систем данных ссылок вам необходимо:
- поправить структуру модулей самого сайта;
- закрыть их в robots.txt;
- настроить на все лишние ссылки ошибку 404 на вашем сервере;
- и только потом сделать запросы в поисковики Google и Яндекс для удаления их из индекса.
В данной статье будет описано как настроить выдачу ошибки 404 на Вашем сайте.
Пример:
Одна статья на сайте доступна по основной ссылке
http://domainname.com/publik/myarticle.html
Также она доступна по следующим ссылкам
http://domainname.com/content/statiy.html
http://domainname.com/treningi/pervay-statiya.html
http://domainname.com/v-pomosh-programeru/myarticl…
http://domainname.com/kontakty/kak-na4inal-pisat.h…
Для настройки 404 ошибок необходимо прописать соответствующие команды в файле .htaccess на хостинге.
Если нужно сделать, чтобы 404 были все страницы которые находятся в каталоге (например http://domainname.com/treningi/pervay-statiya.html), для этого нужно прописать следующее:
RewriteRule treningi* [L,R=404]
Если нужно сделать, чтобы 404 была конкретная страница, например http://domainname.com/v-pomosh-programeru/myarticle.html, то нужно прописать следующее:
RewriteRule v-pomosh-programeru/myarticle.html [L,R=404]
Также, чтобы не делать все страницы ошибкой 404, можно настроить редиректы. Это используется для того, чтобы ненужные ссылки, вели на нужные страницы.
Например, чтобы ссылка: http://domainname.com/treningi/pervay-statiya.html вела на страницу в .htaccess нужно прописать следующее:
RewriteRule treningi/pervay-statiya.html [L,R=301]