Защита от парсинга
3 сообщения
#9 лет назад
Добрый день, есть сайт запчастей в нём очень большая номенклатура, сейчас на сайте требуется регистрация что бы увидеть цену и часть артикула товара, сделано это для контроля над пользователями (что бы парсинг не так просто было сделать). Сейчас склоняюсь к идеи сделать сайт без регистрации, что бы даже не зарегистрированным пользователям была видна цена и артикул, может кто сталкивался с защитой от парсинга магазинов автозапчастей
11416 сообщений
#9 лет назад
На самом деле регистрация не усложняет парсинг ни на сколько.Зарегистрироваться на сайте и добавить в скрипт парсера автоматическую авторизацию - дело 15 минут.
3 сообщения
#9 лет назад
На сайте каждый пользователь привязан к сотовому тел, по аналогии с банками при регистрации пользователю приходит смс с кодом,и установлен лимит запросов
3315 сообщений
#9 лет назад
Цитата (avtokrat):сейчас на сайте требуется регистрация что бы увидеть цену и часть артикула товараЦитата (avtokrat):
каждый пользователь привязан к сотовому тел, по аналогии с банками при регистрации пользователю приходит смс с кодом,и установлен лимит запросовВы должны торговать чем-то очень эксклюзивным, чтобы заставить пользователя задержаться на сайте дольше времени, необходимого для подвести мышку к крестику.
11416 сообщений
#9 лет назад
Ого какие сложности, чем вы таким торгуете интересным? 
2868 сообщений
#9 лет назад
То есть для вас главное не продажи, а сохранение картиночек в неприкосновенности? Интересный такой подход к бизнесу, креативный)
834 сообщения
#9 лет назад
Нет защиты 100% там где может просмотреть любой зареганный чел, и тем более там где может просмотреть не зареганный чел.НО защита нужна - для того что бы отсечь 99% процентов желающих с парсить, 1% при большом желании, и не меньшем бютжете все равно спарсит=) Тут главное сделать максимально дорогую цену на парсер(желательно неприлично дорогую), что бы дешевле было или у кого то еще парсить или работать по прайсам поставщиков=)
Защита простая - кнопка "Посмотреть цену" и "Показать артикул", сделанная на JS, причем не просто show(), а именно получение данных по AJAX + проверка на существование мыши(это - по JS определить двигался ли курсор, если да, то можно почти точно сказать что тут человек а не парсер), и если мыль двигалась, + тыцнута кнопка, тогда делаете AJAX запрос, и выводите инфу в блок=)
При этом контроллер AJAX должен иметь защиту от запросов из вне вашего сайта, что бы в итоге не получилось у вас API, с помощью которого можно будет напрямую по ID Товара тянуть данные=)
По защите от запросов из-вне сайта есть куча инфы в инете=)
1895 сообщений
#9 лет назад
Спарсить всеравно можно, но кое какой процент парсеров отсеит конечно.... разве что начинающих
918 сообщений
#9 лет назад
Но, скажем, с лимитом запросов и большой товарной номенклатурой обновления не будут актуальны, парсить 10000 товаров с лимитом 15 запросов в минуту (а по факту еще меньше чтобы не вызывать подозрений). Все сведется к неприлично дорогому парсеру как говорит ссылка. И как следствие выбору другого источника парсинга.
Как говорится, не надо бежать быстрее медведя, надо бежать быстрее своего спутника.

Если еще и цены подгружать аяксом, да сервер настроить так чтобы вычисленных редисок не отключать а просто отдавать им контент по 5 КB/s. На хабре была статья какого-то маньяка, с портянками конфигов для nginx. Не могу найти.
Стоит ли только игра свеч?
3562 сообщения
#9 лет назад
Вы главное не забывайте что вам нужно искать баланс между удобством для пользователей (и вероятно индексацией в поисковиках) и "защитой" от парсинга.А спарсить все равно можно будет, вопрос в стоимости и скорости.
834 сообщения
#9 лет назад
MMM_Corp, именно об этом я и написал=) и как говорит AlexsimA , можно и сайт угнать=) вопрос в том сколько это будет стоить=)угнанный сайт будет не ликвиден через 1-2 дня(тема автозапчасти о которой ведется речь) и его придется опять угонять=) а это не быстро + админы заметят кто угоняет и залочат, пару залоков, и торговля закончилась=) дорого=)
тоже и по парсингу, сделать по умному защиту, и не новичков это отпугнет как пишет MMM_Corp , а заказчиков на парсинг - ценой заявленной профиЧЕЛОМ по парсингу за такой парсер=)
834 сообщения
#9 лет назад
Кстати к слову будет сказаноНи один антивирус не дает гарантию 100% что вы не цепонете вирус - но это же не повод не использовать антивирус?
Тоже самое по защите серверов, нет гарантии что его не хакнут после всех возможных операций по его бронированию, но это же не повод пренебрегать защитой
2868 сообщений
834 сообщения
#9 лет назад
ermolaev, ну по автозапчастям на самом деле не так много полных каталогов, в которых можно спарсить просто так=) Я вот кода надо что то по запчастям, ищу номер детальки на одном сайте, потому что там реально удобно, а покупаю в другом месте, потому что магазин постоянно подводит по срокам, и последний раз вообще перепутали 2 запчасти из трех заказанных=) Может у ТС удобный сайт где легко найти запчасть на зная ее номера, тем самым у нео и парсить будут хотеть=)А так вообщем, я с вами полностью согласен=)
918 сообщений
#9 лет назад
Цитата:если спарсить можно в другом месте, то ценность инфы на сайте равна нулю.Цитата:
Соответственно вопрос, а зачем ее тогда прятать?
А если инфа ценная (в чем я сомневаюсь), то спарсят даже, если сложно и дорого. Тогда зачем тратить лишние ресурсы на защиту?Может и спарсят, а может наймут сотню "контент менеджеров" и десяток копирайтеров. Если будет дешевле.
Цель уменьшить кол-во конкурентов, затруднить их бизнес.
1 сообщение
#9 лет назад
avtokrat, однозначно нужно делать сайт без регистрации, это увеличит конверсии и поведенческие - это проверенно уже не один раз. От парсинга кому очень надо тот спарсит уж поверь. Убери из сайта sitemap.xml и карту сайта - это 2 самых простых способа распарсить сайт. И не кого не слушай что sitemap.xml - обязателен, он уже не работает, это тоже проверено.
11416 сообщений