Евгений П.
4 сообщения
#17 лет назад
Вот ФЛЕШ демо интерестного скрипта Парсер 7 поисковиков .




Функциональность девайса :

Граббер 7 популярных поисковиков Google Yahoo Msn Yandex Rambler Webalta Aport .
Скрипт предназначен для извлечения информации с поисковых систем , сбора нужных адресов .
Возможности :

- Выбор нужных поисковых систем для обработки скриптом .
- Выбор количества страниц для просмотра скриптом , количества запросов
- Выбор ключевых слов для поиска по поисковым системам
- Возможность микширования поисковых запросов :
+ с введенными словами в поле формы
+ с Файла любого размера (работает корректно с файлом любого размера)
+ выбор количества страниц для просмотра слов в режиме микширования
- Минус слова - для удаления из результатов поиска , пример слово google.com будут удалены ссылки содержащие google.com
- Плюс слова - для выборки результатов содержащих обязательно данные слова
- Ограничение количества просматриваемых страниц
- Ограничение количество результатов для пля парсинга
- Время скорости соединения сокета с адресом
- Время таймаута если использовать без прокси
- Выбор языка для парсинга
- Выбор доменной зоны для парсинга :
+ 160 доменных зон для реверсивного парсинга
- Включение визуализации
- Включение авто скролла
- Проверка Page Rank :
+ проверка хоста
+ проверка страницы
+ отсеивание с Page Rank ниже нужного
- Проверка ответа по header для выборки только адресов с ответом = 200 (отсев редиректа и мертвых страниц)
- Поиск текста на найденных страницах : (если нужный текст не найден то адрес удаляется из списка)
+ Настройка количества скачиваемых килобайт
- Граббинг данных с найденных страниц , по любому формату :
+ Возможность вытягивания любого текста , например - только между <h1></h1> или <td></td>
+ Настройка количества скачиваемых килобайт
- Возможность работы через прокси :
+ Выбор прокси из файла
+ Выбор прокси с формы
- Возможность сохранения результатов в базу данных :
+ Удаление дубликатов в базе данных
+ Сортировка по Page Rank и имени
- Возможность сохранения результатов в файл
- Возможность установить пароль на доступ к скрипту

+ добавление нужных функции


Есть аналоги ?
Андрей Халецкий
3563 сообщения
#17 лет назад
Делали попроще скрипты.
Такое вот, все и вместе нет
Евгений Гогисон
46 сообщений
#17 лет назад
Ну я такое делаю только не одной прогой. Используется грабер который настраиваетяс под каждый поисковик и проект сохраняется. Ведь поисковики меняю выдачу и часто если в одной проге то через месяц полгода шаблонов выборки устаревает и приходится стучаться к разработчикам (если они сами не делают апдейт).
А вот PR тест делаю через прогу субмитер.
Такое для дорвейщика полезно.
crack1 - тебе зачем такой софт, ты где его юзаешь?