Grab

Ох. Поехало.

1. Защита не должна мешать навигации пользователей, очевидно.
2. Я не говорю, что поломать будет невозможно. Я говорю, что будет сложно, намного сложнее чем без подобной защиты.
3. По поводу конкретных технологий - я не говорю, что какая-либо является панацей. Я говорю, что их симбиоз усложнит граб.
4. Ненужно про NAT-ы. я о них знаю.
5. Бот отличается от человека тем, что человек не станет за час просматривть 20 000 страниц. О том, что хорошого бота нельзя отличить от человека я знаю. Ну разве хоть 10% граберров осилят сделать хорошего бота? Та даже если ajax-ом данные подгружать - половина грабберов со своим любимым file_get_contents не осилят.
6. Смеятся, критиковать не обезательно. Идею я затеял, т.к. она полезна интернету. Полезна тем, что предотвращает, замедляет дублирование контента.

P.S. лучше б взял да помог, кто? А тот тут все аж такие хаккера что аж в профили написано php, jquery, css, html.

Цитата ("e-utcit"):

Бот отличается от человека тем, что человек не станет за час просматривть 20 000 страниц. О том, что хорошого бота нельзя отличить от человека я знаю. Ну разве хоть 10% граберров осилят сделать хорошего бота? Та даже если ajax-ом данные подгружать - половина грабберов со своим любимым file_get_contents не осилят.

frig, Что именно смешного?

Цитата ("e-utcit"):

Что именно смешного?

Тут проще будет перечислить что именно несмешного. Но раз вопрос задан - попробую ответить.

Цитата ("e-utcit"):

Бот отличается от человека тем, что человек не станет за час просматривть 20 000 страниц

Спасибо кэп! Это же самое знают и те, кто этих самых ботов пишет. И сделать задержку при опросе вообще не проблема. Совсем.
Цитата ("frig"):

О том, что хорошого бота нельзя отличить от человека я знаю.

Это не смешно. Тут должен зазвонить звоночек, который скажет, что бот строится под защиту, а значит тут понадобится чуть больше ухищрений. Ну ладно +10$ к цене.
Цитата ("frig"):

Ну разве хоть 10% граберров осилят сделать хорошего бота?

Проводили опрос? Статистика какая-то есть по этим вопросам? Нет? Где хороший где плохой? Бот который собирает с ЯМаркета - хороший или плохой?
Цитата ("frig"):

Та даже если ajax-ом данные подгружать - половина грабберов со своим любимым file_get_contents не осилят.

Половина? Как только в этом кто-то упрется - сразу же применит curl или сокеты и все. 3 минуты и нет защиты.

В общем сама затея смешна, а подход просто забавен. Как-то так.

Цитата ("e-utcit"):

Предупреждаю о разрабокти бесплатного модуля, который будет защищать сайты от грабберов, указывать ip грабберов (популярные прокси будут банится сразу).

я абасрался

Crist, ну тогда пойди помойся

frig, Против защиты строятся боты, против ботов защита. Есть понятия интеративной, интелектуальной защиты. Ты сталкивался при грабе когда-то с статистическими анализаторами?

Когда разработаю методологию, напишу модули - тогда и посмотрим кто есть кто.
Тема защиты информации весьма обширна и предпологать, что у тебя готова методология на все случаи жизни глуповато.

А насмешки, критика в твоем исполнению сильно пахнут троллингом.

Цитата ("e-utcit"):

Когда разработаю методологию, напишу модули - тогда и посмотрим кто есть кто.

А не разумнее было бы именно тогда и создать эту тему? А то весь _этот_ смех - ничто по сравнению с тем, который будет, если из этого пафоса выйдет пшик.

voron_76, Да, разумней.

И вобще, эти методологии уже разработаны давно. И регулярно появляются новые методы в этой области. Все что нужно - стандартизация и применения к нуждающимся сайтам.

Цитата ("e-utcit"):

Когда разработаю методологию, напишу модули - тогда и посмотрим кто есть кто.

А пока это все пустой треп. Ноль, не более. Как будет о чем поговорить - приходите, посмеемся вместе.

Цитата ("e-utcit"):

И вобще, эти методологии уже разработаны давно.

Но почему-то до сих пор никто не смог защититься от граба. А все почему? А все потому, что до тех пор пока в браузере доступны тексты и картинки это просто невозможно. Вообще. До тех пор пока нельзя отличить пакет от реального пользователя от пакета бота - будет жить DDOS, до тех пор пока бот может притвориться браузером - будет жить граб. На данном этапе никаких изменений в этой области не видно.

frig, Изначально это была декларация намерений. Треп пошел потом, в частности и от тебя.

Цитата ("e-utcit"):

Изначально это была декларация намерений.

Мило. Мы оценили декларацию намерений. Только причем тут форум, который создан для обсуждений, а не для декларации намерений мне понятно не очень.

Цитата ("e-utcit"):

Illarion_SA, Загрузить сайт, если он защищен, не получится браузером.

Извините, я не совсем понял Вашу мысль, Вы хотите сделать некий модуль, который не позволил бы браузерам загружать "защищенные" сайты? Или Вы хотите разрешить загрузку сайтов пользовательским браузером и воспрепятствовать загрузке граббером?

Цитата ("e-utcit"):

Фоткать можно сколько злезит, но не все сотни тысяч страниц.

Почему бы и нет? "Фотографировать" сайт можно снимая картинку с видеобуфера, без всякого фотоаппарата и полностью автоматически.

Цитата ("e-utcit"):

Маршрутизаторы cisco защищают от граба на уровне сигнатур.

Поясните пожалуйста, что такое на "уровне сигнатур"? Какие сигнатуры Вы имеете в виду: заголовки HTTP запросов или что-то еще?

Цитата ("e-utcit"):

декларация намерений

Каких намерений, е-мае? Приходит какой-то лузер на форум и начинает пугать всех, что он разработает методы определения ботов и отделения их от пользователей. Гуглы-шмуглы годами бьются над этим, всякие корпорации раздумывают над способами защиты от ддосов - и тут ты такой с декларацией)

Блин, когда я прочитал первый пост в этой теме, то потянул смеховую мышцу.. даже улыбаца больше не могу теперь! Вот до чего довел, дорогой ты наш электровеник

Цитата ("voron_76"):

Дайте ссыль, если там не закрыто.

ссылка
наслаждайтесь, его ща забанили кажись, ибо уже пипец что творит

Цитата ("e-utcit"):

Бот отличается от человека тем, что человек не станет за час просматривть 20 000 страниц.

мы тут вконтакте спамим по 100 тыс сообщений в сутки для каждого клиента.
как сделаете свой проект, продайте дурову, им релально пригодится

Цитата ("Crist"):

Каких намерений, е-мае?

Сейчас мне кажется, что это вроде "Я супергерой и объявляю войну со злом в этом вашем интернете!" ну так ничего. Только костюмчик надо подобрать подобающий, (без плаща!) и всякую другую атрибутику. И норм будет.

Цитата ("e-utcit"):

... P.S. лучше б взял да помог, кто? А тот тут все аж такие хаккера что аж в профили написано php, jquery, css, html.

Что-ж, "e-utcit", в Вашей инициативе есть элемент благородного безумия. Могу поделиться с Вами концепцией построения сервиса усложняющего захват содержимого любого сайта без модификации исходного контента. Степень усложнения - вплоть до нескольких человеко-лет разработки специализированного ПО. Можно будет построить такой сервис и, раз Вы считаете, что эта услуга будет востребована, предоставлять его в пользованием параноидально-настроенным владельцам веб-сайтов.

Цитата ("Illarion_SA"):

Можно будет построить такой сервис и, раз Вы считаете, что эта услуга будет востребована, предоставлять его в пользованием параноидально-настроенным владельцам веб-сайтов.

Цитата:

бесплатного модуля