Поисковики видят скрытые файлы?

Тут услышал инетересную мысль от знакомого, о том что мол роботы поисковиков которые индексирую страницу, видят даже те файлы, на которые нет нигде ссылок. То есть если я например положил файл picture.jpg в корень сайта, то есть большая вероятность что поисковик его увидит. Это правда? Честно скажу, с технической точки зрения, я могу только предположить перебор названий файлов, но это бред, зачем это поисковику. Так вот ответте мне, это правда, или мне наврали? =)

Наврали.
Скажу другую, более правдивую информацию, гораздо больше половины всех сайтов практически не проиндексированы
Если просто создать сайт и не поставить на него ни одной ссылки и никуда не засабмитить - поисковики его тоже не найдут никогда.

Цитата ("librarian"):

Наврали.
Скажу другую, более правдивую информацию, гораздо больше половины всех сайтов практически не проиндексированы
Если просто создать сайт и не поставить на него ни одной ссылки и никуда не засабмитить - поисковики его тоже не найдут никогда.

+1

Та я вот тоже подумал что наврали, так как не могу себе представить как можно получить содержимое, ну разве что если на серваке включен режим показа содержимого каталогов =)

Цитата ("AlekseySribnyj"):

Так вот ответте мне, это правда, или мне наврали? =)

Конечно наврали.
Но есть еще такой вариант, что поисковик имеет отношение к хостингу (Яндекс и Народ.Ру, например), тогда это технически возможно, но практически наврядли это будут делать.

Гугля может найти и проиндексить сайт на который нет ни одной ссылки. Проверено.

Создайте файл с названием "robots.txt" и там пропишите ссылки на те файлы, которые поисковики не должны видеть..

Цитата ("librarian"):

Гугля может найти и проиндексить сайт на который нет ни одной ссылки. Проверено.

Сайт может быть.
Но не страницу.

Цитата ("AlekseySribnyj"):

Тут услышал инетересную мысль от знакомого, о том что мол роботы поисковиков которые индексирую страницу, видят даже те файлы, на которые нет нигде ссылок. То есть если я например положил файл picture.jpg в корень сайта, то есть большая вероятность что поисковик его увидит. Это правда? Честно скажу, с технической точки зрения, я могу только предположить перебор названий файлов, но это бред, зачем это поисковику. Так вот ответте мне, это правда, или мне наврали? =)

Не наврали. Может увидеть. Мало того, есть факты что некоторые роботы плевать хотели и на директивы в robots.txt . Так что куда хочу туда хожу...
Хотите чтоб четко какой то робот не увидел ваш файлик? Закрывайте его htaccess -ом. Против апачей не попрешь.

Млин, ну не бывает такого... гляньте в логи запросов с поисковиков...

Чего не бывает? Что роботы ходят как хотят? Вот кусок robots.txt например от джумлы - зачем, скажите, закрывать следующие директории, если ссылок на них в здравом уме никто не наделает?

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/

Или ничтожная кучка людей, называемая сообществом, просто погорячилась и написала чушь в роботсе, лишь бы было?

ireland, не бывает чтобы поисковики обращались к файлам на которые нет ссылок.
Цитата:

... если ссылок на них в здравом уме никто не наделает?

я бы не стал на этот самый здравый ум надеяться; ИМХО редко встречается.

Цитата ("Humaneil"):

ireland, не бывает чтобы поисковики обращались к файлам на которые нет ссылок.
Цитата:

... если ссылок на них в здравом уме никто не наделает?

я бы не стал на этот самый здравый ум надеяться; ИМХО редко встречается.

Давайте мыслить дальше - запрет стоит на директорию, то что было бы, если бы этого запрета не было и я поставил бы ссылку на эту директорию? Какой тогда смысл в запрете? Это запрет на индексацию файлов в директории. Значит все-таки может?

Цитата:

Это запрет на индексацию файлов в директории.

вот кусочек из моего httpd.conf
<Directory ... >
Options Indexes Includes FollowSymLinks
...
</Directory>
угадай что значит Indexes

Цитата ("Humaneil"):

Цитата:

Это запрет на индексацию файлов в директории.

вот кусочек из моего httpd.conf
<Directory ... >
Options Indexes Includes FollowSymLinks
...
</Directory>
угадай что значит Indexes

Попробую. Indexes - показывать посетителю список файлов, если в выбранном каталоге нет файла index.html или его аналога, FollowSymLinks -обрабатывать симлинки. Так что ничего не мешает ему обрабатывать и все остальное, что не запрещено.

Цитата:

Какой тогда смысл в запрете? Это запрет на индексацию файлов в директории. Значит все-таки может?

Цитата:

Indexes - показывать посетителю список файлов, если в выбранном каталоге нет файла index.html или его аналога

Ну вот вы на свой вопрос и ответили... или нет?

Вобщем так. Не хотим чтобы лазило куда попало, пишем так:
<Directory ... >
Options -Indexes FollowSymLinks
AllowOverride None
</Directory>

Не труЪ. лучше так:

<Directory ... >

     Order Allow,Deny

     Deny from all

</Directory>

Так враг точно не пройдет ^^

А если серьезно, то это глупости, ИМХО: до прохождения тестов Тьюринга компьютерам еще далеко, а уж в экстрасенсы их записывать... Как вариант - поисковики могут читать файл robots.txt и переходить по указанным в нем ссылкам, якобы запрещенным для индексирования.

Цитата:

Как вариант - поисковики могут читать файл robots.txt и переходить по указанным в нем ссылкам, якобы запрещенным для индексирования.

Тогда поисковики нарушают правила, потому что нельзя индексировать страницы, явно закрытые для индексирования. Не думаю, что они стали бы их нарушать...