Уважаемые знатоки, добрый день. Подскажите как решить мне одну очень простую для вас задачу) Вкратце, пишу парсер впервые) и так случилось, что мне нужно открыть постоянное соединение с источником и получать только измененные данные, так как в текущей реализации "curl_multi" уперся в узкое место - канал, json данные 1.06-1.09mb летят через космос и доходят до пасрера через 3-3.4с. Это очень большая задержка, какой костыль или решение есть для данной проблемы ?

(0) Упаковывать данные перед передачей и распаковывать после получения.

(1) как упаковать перед передачей на стороннем ресурсе ?

Сделй так, чтобы пакет летел не через космос, а по земле

(2) Т.е. ты никак на тот ресурс повлиять не можешь, попросить отдавать данные пакетами поменьше, упаковывать их? Тогда никак. Расширить канал вряд ли даст эффект, а больше ты ни на что не влияешь.

(3) имеете ввиду взять vps ближе к источнику ?

(5) Откуда я знаю, как у тебя там всё это собрано. Тебе видней

(6) парсер на localhost

Не заниматься велосипедостроением, а использовать готовые MQ.

(8) что такое MQ ?) и как это MQ поможет мне ?

(8) Для этого ему надо будет все-равно иметь влияние на источник данных. А у него нет. :)

(0) можно попробовать в заголовке запроса добавить в поддерживаемые кодировки gzip

(9) Тебе намекают что нехрен заниматься парсингом html, договорись с "поставщиком данных" (владельцем сайта) и получай готовые данные в нужном виде.

(12) не думаю, что это возможно

(13) А ты пробовал? Может у них даже есть такая фишка уже готовая, просто ты об этом не знаешь. Че вообще за данные и че за источник такой? Публичный и открытый?

А что такое "открыть постоянное соединение с источником и получать только измененные данные"?

(15) ну это я достучался до сокета одного из источников данных. Тут же меня отвергают))))))))

(14) апи у них нету. Британская БК с большим кол-ом событий. Мне нужно забирать эти события в полном объеме. Если я спокойно забираю данные у других, то тут я запнулся.

Какой еще сокет, чем ты там занимаешься?

(18) работу работаю

(19)
в (0) у тебя "получать только измененные данные"
в (17) - "в полном объеме"

Ты б определился, работник.

(0) Так ты можешь получать только измененные данные? Или это невозможнож и ты ищешь другой способ? Ничего непонятно, что тебе нужно. Сам сайт этого сервиса как работает?

(0) Разверни свой сервер рядом с источником данных, чтобы канал не жал при парсинге. Со своего сервера отдавай разобранные данные хоть через космос, хоть почтой россии

(22) СПАСИБО! Именно так и поступлю, взял вируталку у того же провайдера, что и источник )) Спасибо !

(9) Увольняйся

(23) Отлично! Попроси провайдера чтобы разместил виртуалку на том же сервере если возможно, или в одной локальной сети, будет вообще чотко )))

(24) Почему Вы думаете, что я обязан знать MQ ?

(24) нашел) просто по первому запросу у меня софтина от IBM открылась, почитал понял. Спасибо за наводку

Mq это те же тапки,только порезанные на сообщения.
В случае большого числа сообщений и необходимости в каждое добавить все упомянутые поля получаем дикий рост обьема

а какой сайт необходимо спарсить?