Curl Javascript redirect (PhantomJS)

Здравствуйте.
Подскажите пожалуйста, неужели правда никак нельзя программно отследить редирект выполненный при помощи javascript?
Может есть какие-то решения позволяющие отлавливать хотя бы небольшой процент таких редиректов?

Что имеется в виду непонятно. Надо отлавливать изменение href.location при помощи javascript? Или определять что ответ ajax запроса делает редирект?

Поисковый бот заходит на сайт.
Если на сайте производится редирект с помощью header Location то можно с помощью курла определить наличие редиректа.
Если же редирект производится с помощью яваскрипта, то курл соответственно такой редирект не определит.
Вот задача стоит в том что бы на произвольном сайте программно определять наличие какого-либо редиректа.

Первое что приходит в голову - использовать headless браузер. Думаю можно приспособить ссылка для этих целей

Кстати, mink можно использовать и для парсинга - вот так ссылка поиск по документу выполняется например.

Курлом конечно нельзя не только отследить но и последовать по любому редиректу кроме как "локейшн..."
Для того что бы распознать другие типы редиректов (мета, яваскрипт, флеш(?)) - нужно выполнять соответсвующие дерективы. Самое простое решение - влоб, использовать браузер (селениум и ко для управления) либо сторонние решения/фреймворки.

Спасибо за ценные советы, буду изучать

Я в последнее время phantomjs полюбил - очень мощная штука для работы с сайтами. прям то, что хотелось всегда и такое там определить, как 5 копеек - по-сути же браузер обычный, так что все что будет в обычном браузере, будет и там.

Цитата ("k1on"):

Я в последнее время phantomjs полюбил

Как раз догуглился до него, но пока мало что понятно. Буду изучать.

Цитата ("k1on"):

и такое там определить, как 5 копеек

Если не сложно могли бы вы привести скрипт определения редиректа?

page.open(address, function(status){


    if (status !== 'success') {

        console.log('error:FAIL to load the address status:' + status + " url:" + address);

        phantom.exit();

    } else {

        page.evaluate(function() {

            console.log(document.location);

        });

    }

});

если адрес не совпадает, то стало быть редирект

Хммм, спасибо, буду пробовать

Hungry_Hunter, там легко, я разобрался за пару дней и стало реально удобнее работать с парсингом. на обычных сайтах так же, а вот где заботятся о том, "чтобы не украли" - вообще вещь!
спрашивайте, отвечу.

Спасибо большое, обязательно спрошу если не разберусь.
Думаю всесильный гугл мне в этом поможет

Phantomjs неплохая вещь, да. Но можно взять компоненты IE или хромиум (для дельфи точно есть, мб в сишарп, с++ билдер тоже), и использовать как полноценный браузер. Или вызывать СОМ объект IE , это можно хоть с Ассемблера делать.

Цитата ("flisk88"):

Phantomjs неплохая вещь, да. Но можно взять компоненты IE или хромиум (для дельфи точно есть, мб в сишарп, с++ билдер тоже), и использовать как полноценный браузер. Или вызывать СОМ объект IE , это можно хоть с Ассемблера делать.

фантом кроссплатформенный.