Вопрос по robots.txt
872 повідомлення
#13 років тому
Такая ситуация, на сайте из-за модуля появилось много дубляжей страниц (более 1к).На ненужных страницах присутствует /news.html?jnf243eff7=2 , где "?jnf243eff7=" повторяется на всех дублирующих страницах, которые нужно удалить с яндекса и гугла (пока в баню сайт не попал).
Нашел такой выход:
Disallow: /?
Disallow: /*?
то есть, страницы со знаком вопроса исключить из индексации.
Поможет данное решение?
3195 повідомлень
#13 років тому
На мой взгляд проблему нужно решать путём удаления возможности генерации дублей страниц модулем.
872 повідомлення
#13 років тому
AlekartRu, решаем это сейчас, но что бы время не терять решил через robots сделать ... только хз поможет или нет)
762 повідомлення
#13 років тому
Цитата ("IvanFeniks"):AlekartRu, решаем это сейчас, но что бы время не терять решил через robots сделать ... только хз поможет или нет)
можно сделать так:
Disallow: /*?*
но последнее время очень много на форумах появляется жалоб, что ПС игнорируют robots.txt
это связано не только с глюками на хостинге, когда robots.txt файлы отдаются с неправильным Content-Type в заголовке или неправильно написаны, но и из-за того, что часть ПС стали воспринимать его директивы как рекомендации, а не обязательные директивы.
Плюс, если у вас много страниц и дублей, то robots.txt - поможет, но через достаточно длительное время.
Лучше всего отдавать правильные заголовки несуществующих страниц и/или использовать meta robots.
13 повідомлень
#13 років тому
IvanFeniks, например, у Google в настройках сайта можно указать, какие параметры влияют на контент и каким образом.
43 повідомлення
#13 років тому
Цитата ("IvanFeniks"):но что бы время не терять решил через robots сделать ... только хз поможет или нет)
Последнее время роботс игнорируется очень часто. Более быстрым выходом будет атрибут rel="canonical" на нужной странице (можно сделать программно и очень быстро). Не то что бы излечит, но развитие болезни и осложнений предупредит и остановит.