Серьезный граббинг на С# не используя PHP,Perl?
4 повідомлення
#16 років тому
Возможен ли серьёзный граббинг/мониторинг с использованием прокси и промежуточных серверов, парсингом html, xml на C# под .Net не используя PHP,Perl? Сильно ли дороже хостинг.Ваши мнения по ситуации сейчас и за чем будущее.
25 повідомлень
#16 років тому
Разумеется возможно. .NET мощная платформа и было бы очень странно, если бы в ней отсутствовала возможность грабинга.
Сам писал много граберов/мониторов на .NET, в том числе и ASP.NET.
По поводу конкретных компонент: начните с WinHttpRequest (самый простой вариант). Но есть на порядок более мощные штуки.
"... Сильно ли дороже хостинг..." нет не сильно дороже, не ленитесь гуглить.
25 повідомлень
#16 років тому
"...парсингом html, xml ..." по воводу именно парсинга а не грабинга - есть десятки способов. От встроенных в .NET до платных и беслпатных компонент от сторонних разработчиков.
4 повідомлення
#16 років тому
Задача мониторить данные с сервера, который ограничивает количество обращений в секунду с одного IP. Соответственно нужно иметь около 20 стабильно работающих IP. Подскажите сколько это может стоить: аренда промежуточных серверов или платные прокси, основной сервер. И сколько может стоить разработка этого на C# (парсинг простой - xml, json пару регулярных).
25 повідомлень
#16 років тому
"...И сколько может стоить разработка этого на C# (парсинг простой - xml, json пару регулярных)...." сколько стоит дом построить???? сколько стоит купить автомобиль???от 1 у.е. до 10000 у.е.
Без подробного ТЗ говорить о ценах и сроках - нонсенс.
Как минимум Вам нужно укзать с каких сайтов (сайта) и что именно (хоть в общих чертах парсить). Чем подробнее Вы опишите ТЗ тем лучше будет и для Вас и для исполнителя.
".....Соответственно нужно иметь около 20 стабильно работающих IP...." вполне реально
25 повідомлень
#16 років тому
"...Подскажите сколько это может стоить: аренда промежуточных серверов или платные прокси, основной сервер...." по поводу конкретных цен - не ленитесь гуглить (Google.com "ASP.NET hosting" или "PHP hosting" и вперед). Так сразу Вам никто ничего конкретного не скажет так как постановка задачи слишком размытая
25 повідомлень
#16 років тому
".....Соответственно нужно иметь около 20 стабильно работающих IP...." вполне реально и не только на C#. Практически на любом языке программирования
25 повідомлень
#16 років тому
"...Ваши мнения по ситуации сейчас и за чем будущее...." вопрос философский... Ответ: грабинг и парсинг (естественно с наворотами типа прокси, многопотчность и т.д.) однозначно будет развиваться.
Библиотеки по грабингу и парсингу есть практически во всех языках программирования, они предоставляют равные возможности (по большому счету).
710 повідомлень
#16 років тому
olegzu, вы уж определитесь: "Серьезный граббинг на С#" или "парсинг простой - xml, json пару регулярных".Win сервачек подороже будет и в установке и в поддержке.
А чем собственно не устраивает php?
25 повідомлень
#16 років тому
Та тут все понятно "Серьезный граббинг на С#" чтобы советы толковые давали,а как только речь зашла об оплате кому либо написания этого парсинга он сразу стал простым


4 повідомлення
#16 років тому
Для меня, как заказчика необходимо для начала определиться какими средствами строить проект, сколько что будет стоить и вообще сопоставимы ли будут расходы с отдачей. 1. .Net я немного знаю, смогу разобраться. С PHP разбираться нет времени. “.NET мощная платформа”, значит прокатит. С этим я определился.
2. ASP.NET hosting стоит 5-10$/мес., (возможно ли на таком устанавливать скрипты для загрузки, обработки и сохранении в базу, или нужен виртуальный выделенный?)
На 20 IP – это 100-200$/мес. или есть другие варианты?
Если всё так, буду думать о подробном ТЗ
4 повідомлення
#16 років тому
Проект может в будущем развиваться и не хочется в определенный момент упереться в какие-то ограничения (например невозможность наращивать промежуточные сервера по технической или финансовой причине). Всё простое может стать сложным, если его умножить на n.
25 повідомлень
#16 років тому
"...На 20 IP – это 100-200$/мес. или есть другие варианты?..." да где то так. Но так как у Вас случай особый то возможно кампания хостер сделает скидку. Это надо обговорить в переписке с провайдером
25 повідомлень
#16 років тому
"...Проект может в будущем развиваться и не хочется в определенный момент упереться в какие-то ограничения (например невозможность наращивать промежуточные сервера по технической или финансовой причине). ..." эти моменты надо продумать и прописать в ТЗ. Правда никто за бесплатно Вам делать "фичи" не будет.
185 повідомлень
#16 років тому
Покупаете ВДС, это может быть как Linux, так и Win( от 20$/мес )покупаете к нему 20 IP... от 1.5-2 $ за штуку/мес.
примерно от 50 получается.
25 повідомлень
#16 років тому
"...2. ASP.NET hosting стоит 5-10$/мес., (возможно ли на таком устанавливать скрипты для загрузки, обработки и сохранении в базу, или нужен виртуальный выделенный?)..." сильно зависит от конкретного хостинга. Думаю скорее да чем нет. Хотя перед покупкой хостинга нужно обязательно уточнить все моменты."...обработки и сохранении в базу.." обработка (в том числе и парсинг) и сохранение в базу есть на 99% платных хостингов. А вот скрипты для грабинга на многих хостингах запрещают из соображений безопасности. Хотя туту есть масса вариантов....