Grab

Часто стали появлятся заказы вида "спереть ифну оттуда и оттуда". Господа, что за свинство?
Вы заставляете людей нарушать авторское право, заставляете владельцев нанимать хаккеров, которые могли бы остановить бардак который натворили крякера, покупать маршрутизаторы CISCO.

Хватит!

Предупреждаю о разрабокти бесплатного модуля, который будет защищать сайты от грабберов, указывать ip грабберов (популярные прокси будут банится сразу).

Обещаю усложнить вам несанкционированный граб.

Цитата ("e-utcit"):

Предупреждаю о разрабокти бесплатного модуля, который будет защищать сайты от грабберов

Ок, приняли к сведению.

Цитата ("e-utcit"):

Предупреждаю о разрабокти бесплатного модуля, который будет защищать сайты от грабберов, указывать ip грабберов (популярные прокси будут банится сразу).

Лучше сразу разрабатывать модуль защищающий сайты от просмотра популярными браузерами. А то некоторые воры так и норовят загрузить сайт и сфотографировать экран монитора.

Кстати, причем тут маршрутизаторы Cisco?

Illarion_SA, Загрузить сайт, если он защищен, не получится браузером. Фоткать можно сколько злезит, но не все сотни тысяч страниц.
Маршрутизаторы cisco защищают от граба на уровне сигнатур.

Цитата ("e-utcit"):

Загрузить сайт, если он защищен, не получится браузером.

facepalm.jpg

Цитата ("e-utcit"):

популярные прокси будут банится сразу

А не популярные, которых 100500 мильйонов?

frig,
Ты хочешь сказать мне , что мой сайт отдаст браузеру все страници, после того того как я запрещу отдавать более 10000 по одному ip в день? Или загрузить сайт, по твоемому, это загрузить главную стрницу. facepalm.html

а не популярные не будут считатся за прокси и будут к ним применены общие правила.

Вобщем, почитай сначала про защиту от граббов, а потом фэйспальм

Цитата ("frig"):

Цитата ("e-utcit"):

Предупреждаю о разрабокти бесплатного модуля, который будет защищать сайты от грабберов

Ок, приняли к сведению.

+100500)

Цитата ("e-utcit"):

Ты хочешь сказать мне , что мой сайт отдаст браузеру все страници, после того того как я запрещу отдавать более 10000 по одному ip в день?

А-а-а!!! Нет, нет, только не это!!! Пощади! Я бедный копирайтер, у меня нет денег на статичный IP, поэтому мне приходится делить адрес с несколькими десятками или даже сотнями других пользователей! Я не переживу, если 9999 запросов создадут другие пользователи и я лишусь доступа к этому великолепному сайту!!!

voron_76,
Еще один... Вы все, что хотите чтобы я Вам расказал всю теорию. Да будь там 100 000 за одним натом, вероятность того, что все 100 000 полезут на сайт - настолько мала, что ей можно пренебрегать. Кроме-того можно и по виртуальным сессиям определять, и статестичиский анализ делать, и программные сигнатуры и вобще...

Я конечно понимаю, что вы хотите мне сказать, что я фигню затеял. Но если кто-то думает, что усложнить граб - не возможно, то лучше пусть бросает свой php и идет учить компьютерные сети.

e-utcit, я хочу сказать, что можно городить защиту на защите, но все это не стоит ломанного гроша, если сграбить будет в самом деле нужно. Прокси сейчас доступны пачками и не дорого, капча? Слишком просто и не актуально. Что еще? Все это совсем не добавит удобства пользователям и незначительно увеличат стоимость сбора информации.

В общем хочу сказать - не майтесь ерундой. И уж тем более, не надо бросать бессмысленные вызовы на форуме.

))) все проблемы решит многопоточность в граббере. Приказываем каждому из 100 потоков работать через свой прокси и наслаждаемся процессом )

ЗЫ. Да человек пиарится просто ) Не злитесь на него.

e-utcit, научите компьютерным сетям, а? Как отличить пользователя от бота?

Xazzzi, всех проблем не решит, но реально еще не встречалось мне ничего такого, что нельзя было бы собрать.

frig, тест Тьюринга ?

frig, я имею ввиду что если не отдавать к примеру больше 100 страничок 1 айпи или не отдавать их чаще 20 секунд (параноя, согласитесь ?) - эти решает.

e-utcit, Андрей Викторович, какая у вас удивительная фамилия! Теровеник. Очень недалеко от терабайтного винчестера. Повезло, с фамилией то...

Цитата ("e-utcit"):

voron_76,
Еще один... Вы все, что хотите чтобы я Вам расказал всю теорию.

Извиняйт, моя плёхо панимайт па рюсски. Ета была вопрос?
Если вопрос - то нет, не хочу. Я всё равно ни в граберах, ни в антиграберах ни фига не понимаю и не хочу понимать.

Цитата:

Я конечно понимаю, что вы хотите мне сказать, что я фигню затеял. Но если кто-то думает, что усложнить граб - не возможно, то лучше пусть бросает свой php и идет учить компьютерные сети.

Я хочу Вам сказать, что если мне, простому честному пользователю, какая-нибудь технология хоть на йоту затруднит навигацию по сайту, я с этого сайта уйду и забуду его, как страшный сон. Потому что по-настоящему уникальных ресурсов, без которых мне по-настоящему трудно будет обойтись, не так уж и много, и ни один из них подобной фигнёй не заморачивается.

Цитата ("e-utcit"):

Загрузить сайт, если он защищен, не получится браузером.

стырить сайт с отформатированного диска сервера еще сложнее

Цитата ("e-utcit"):

Маршрутизаторы cisco защищают от граба на уровне сигнатур.

ой, расскажите ка мне про это. интересно очень сильно

Это паранойя авторского права. Бесплатно раздавать жалко, а продать нечего.

Цитата ("e-utcit"):

Я конечно понимаю, что вы хотите мне сказать, что я фигню затеял. Но если кто-то думает, что усложнить граб - не возможно, то лучше пусть бросает свой php и идет учить компьютерные сети.

нет, мы хотим сказать, что Вы так далеки от практики, что если выйдете прямо сейчас, то лет через 10 дойдете до указателя (до цели еще 100 раз по столько)

блокировка по частоте запросов с одного ip - это 2 строки в конфиге nginx или 6 строк в mod_envasive апача уже все написано.
Про Cisco не начинайте даже упоминать.
Вконтакте найдите пару групп и там втирайте умные слова. Или девочкам. Они от умных слов млеют и становятся более доступными.

Цитата ("elosoft"):

Это паранойя авторского права. Бесплатно раздавать жалко, а продать нечего.

это второй цикл весны
на форуме Лиекса активизировался местный гений тоже, он там искусственный интеллект разработал

Цитата ("ArtPro"):

на форуме Лиекса активизировался местный гений тоже, он там искусственный интеллект разработал

Дайте ссыль, если там не закрыто.