- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В общем, что-то или я туплю, или задача интересная.
Суть - нужно спарсить страницу, но данные на ней не сразу отдаются, а выводятся по мере обработки
Скорее всего:
Есть какие-тов варианты на php спарсить такую страницу?
вы говорите о парсинге внешней страницы?
Тогда вас не должно беспокоить, как там отдается контент
построчно, или через буфер
вы говорите о парсинге внешней страницы?
Тогда вас не должно беспокоить, как там отдается контент
построчно, или через буфер
cURL'ом AJAX подгрузка парситься, не подскажите?
вы говорите о парсинге внешней страницы?
Тогда вас не должно беспокоить, как там отдается контент
построчно, или через буфер
Да вот как раз беспокоит.
Если смотреть браузером - видим сначала загрузку заглавия таблицы с данными, потом каждую секунду догружается строка. А вот через curl получаю только заглавие, а строк нету, curl завершает работу, не дожидаясь, пока весь буфер выведется.
cURL'ом AJAX подгрузка парситься, не подскажите?
Аякса там нет, простой буферный вывод.
Если правильно послать ajax запрос, то да.
Ведь по сути запросы отличаются немного в заголовках, а если серверная сторона не проверяет HTTP_X_REQUESTED_WITH, то тем более.
Аякс может посылать как и get, так и post, соответственно и нужно формировать нужный запрос.
---------- Добавлено 13.12.2012 в 16:31 ----------
bay_ebook, увеличьте CURLOPT_TIMEOUT
Аякса там нет, простой буферный вывод.
или простой вывод данных хранящихся в JS массиве
В HTML посмотрите, если там вообще ваши строки. А то уже парсить размахнулись не проверив сайт.
увеличьте CURLOPT_TIMEOUT
Не помогает, так как curl считает ,что если был поток данных, и данные не поступают - то закрывает соединение
или простой вывод данных хранящихся в JS массиве
нет, там не js
В HTML посмотрите, если там вообще ваши строки. А то уже парсить размахнулись не проверив сайт.
Смотрел, есть. Там именно html, но вывод не стразу а с буфера.
дайте что-ли урл (тут или в личку), аж интересно стало
---------- Добавлено 13.12.2012 в 16:01 ----------
действительно, сервер держит всё время открытое соединение. все 10-20 мин, или сколько ему надо, чтобы вывести всё.
идиотизм, но как его обойти даже не знаю:)
Если смотреть браузером - видим сначала загрузку заглавия таблицы с данными, потом каждую секунду догружается строка. А вот через curl получаю только заглавие, а строк нету, curl завершает работу, не дожидаясь, пока весь буфер выведется.
По идее курл должен завершить работу когда сервер закроет соединение. Имхо сомнительно чтобы он отсоединялся на первом потоке. Действительно, скинули бы ссылку что-ли
Не помогает, так как curl считает ,что если был поток данных, и данные не поступают - то закрывает соединение
Ещё есть
CURLOPT_LOW_SPEED_TIME
CURLOPT_LOW_SPEED_LIMIT
p.s. Присоединяюсь к вопрошающим о ссылке :)