Иван Ф.
872 повідомлення
#13 років тому
Такая ситуация, на сайте из-за модуля появилось много дубляжей страниц (более 1к).
На ненужных страницах присутствует /news.html?jnf243eff7=2 , где "?jnf243eff7=" повторяется на всех дублирующих страницах, которые нужно удалить с яндекса и гугла (пока в баню сайт не попал).
Нашел такой выход:
Disallow: /?
Disallow: /*?
то есть, страницы со знаком вопроса исключить из индексации.
Поможет данное решение?
Максим Ф.
3195 повідомлень
#13 років тому
На мой взгляд проблему нужно решать путём удаления возможности генерации дублей страниц модулем.
Иван Ф.
872 повідомлення
#13 років тому
AlekartRu, решаем это сейчас, но что бы время не терять решил через robots сделать ... только хз поможет или нет)
Роман Ч.
762 повідомлення
#13 років тому
Цитата ("IvanFeniks"):
AlekartRu, решаем это сейчас, но что бы время не терять решил через robots сделать ... только хз поможет или нет)

можно сделать так:

Disallow: /*?*

но последнее время очень много на форумах появляется жалоб, что ПС игнорируют robots.txt
это связано не только с глюками на хостинге, когда robots.txt файлы отдаются с неправильным Content-Type в заголовке или неправильно написаны, но и из-за того, что часть ПС стали воспринимать его директивы как рекомендации, а не обязательные директивы.

Плюс, если у вас много страниц и дублей, то robots.txt - поможет, но через достаточно длительное время.
Лучше всего отдавать правильные заголовки несуществующих страниц и/или использовать meta robots.
Сергей К.
13 повідомлень
#13 років тому
IvanFeniks, например, у Google в настройках сайта можно указать, какие параметры влияют на контент и каким образом.
Игорь К.
43 повідомлення
#13 років тому
Цитата ("IvanFeniks"):
но что бы время не терять решил через robots сделать ... только хз поможет или нет)

Последнее время роботс игнорируется очень часто. Более быстрым выходом будет атрибут rel="canonical" на нужной странице (можно сделать программно и очень быстро). Не то что бы излечит, но развитие болезни и осложнений предупредит и остановит.
Евгений Б.
5330 повідомлень
#13 років тому
.Цитата ("rech"):
можно сделать так:
Код:
1 Disallow: /*?*

но последнее время очень много на форумах появляется жалоб, что ПС игнорируют robots.txt

В robots не работают регулярки!
RTFM!