Как сграбить много?

Клиент просит сграбить чужой сайт, а там получается порядка 50Gb. У меня на хостинге сейчас 1.5 Gb, а хостер предлагает максимум 3 Gb.
Как вообще такие задачи решаются? Где взять хостинг с таким большим диском?
Спасибо за советы!

Либо взять хостинг с большим диском, либо писать частями... Записали например 1 ГБ, заархивировали, выслали на почту, удалили, и так далее...

Грабить на своей машине, дома.

У моего заказчика пакет на 50гб вот тут
ссылка

Сграбить дома

Дома то я сграбить могу. Но как потом заказчику передать результат?
За хостинг с большим диском спасибо. Вот только неохота платить...

Цитата ("max_fl"):

Но как потом заказчику передать результат?

Через интЫрнет. Скайп/аська/торрент.

Цитата ("max_fl"):

За хостинг с большим диском спасибо. Вот только неохота платить...

Правильно. Пусть заказчик платит!

Передать как ? да запросто, через торент)
через апач вивернутый в свет - передать можно все что угодно, главное белая айпи, я так кучу раз делал)

Цитата ("max_fl"):

Как вообще такие задачи решаются?

Например, записать все 50Г в один файл, сжать его (получится гигабайт 20-30), порезать на куски (утилита split на *uix), послать куски заказчику по email. Или по мере "вытягивания" контента класть его кусочками на какой-либо файлообменник. Можно еще поискать сервисы предоставляющие дисковое пространство. И есть еще Amazon file service (забыл точное название, что-то вроде S3), но за них надо платить, хотя и немного.

Цитата ("max_fl"):

Где взять хостинг с таким большим диском?

Такие хостинги есть, это я точно знаю. Скорее всего, можно договориться и с Вашим администратором чтобы Вам на временной основе выделили эти гигабайты.

А вот апачем 50Гбайт лучше не раздавать - там возможны всякие эффекты. Такие гигабайты лучше отдавать или по ftp или по scp.

Можно установить апач себе на комп и настроить его так что бы к нему был внешний доступ и дать заказчику ссылку что бы он тянул с вашего компа архив...
Ну или через скайп можно передать архив, правда максимум передавал 2 ГБ, но шло все без проблем...

Просто ставите apahe http ссылка устанавливаете, ставите пхп если надо. ложыте в папку apahe/http файл и даете заказчику ссылку в виде
ХХХ.ХХХ.ХХХ.ХХХ/имяфайла.рар где ХХХ - ваш Айпи адрес. Подробней могу объяснить в лс

Можно на почтовиках отсылать письма самим себе. На гмаиле что то порядка 5-ти гигов на юзера, теоретически, практически говорят анлим. Потом даете заказчику доступы от аккаунта и пусть качает

В принципе, можно в парсер заложить отправку файлов на маил. Например заказчику. То есть парсим N страниц, складываем всё в папку, архивируем, отправляем мылом, удаляем, парсим еще N страниц и т.д. пока не спарсим всё

Dropbox

Парсить лучше с домашней машинке в таком случае.
А на счет передачи: FTP сервер у себя поднять никак? Бесплатных и достаточно функциональных - море. Пусть заказчик коннектится и сливает всю инфу))) + Лучше разбить бы эти 50Гб на части правда - вдруг если обрыв связи или что - не заново же ему пыркаться

Если парсить дома , то по моему лучше уж купить десяток dvd и отправить почтой . Быстрее будет и проблем меньше . Запаролить архивы на случай недобросовестного заказчика .