Добрый день!

Подскажите пожалуйста, столкнулись с проблемой что нужно выгружать прайс-листы поставщиков на сайт ежедневно, а их очень много, пока около 400 тысяч наименований + в перспективе будет только увеличиваться.

Стандартный обмен битрикса и 1С очень долгий.
Какие есть альтернативы? Разработчики сайта говорят что напрямую в БД в bitrix выгрузку делать нельзя, только через API битрикса.

Кто сталкивался с подобной проблемой? Какие есть пути решения\ускорения?

волшебной палки не бывает.
1. Замер производительности
2. выявление узких мест
3. оптимизация

прикольный вопрос от ТС с ником "php5"
ник как бы подразумевает что ТС знаком с PHP

(2)И как тебе php поможет в ускорении выгрузки из 1с?

(3) он помогает в кроссбраузерных запросах, а они в свою очередь помогают в ускорении обмена данными с сайтом

(0) "Разработчики сайта говорят что напрямую в БД в bitrix выгрузку делать нельзя, только через API битрикса." - можно, но иногда при смене релизов у них меняется структура таблиц БД. Если писать через АПИ, то это не проблема, а если напрямую, то этот момент надо вовремя отловить, чтобы обмен не упал. Мы пишем напрямую, за 4 года падение после обновления битрикса случилось один раз, починили за 15 минут.

По поводу ника... В свое время, когда начинал, пытался заниматься веб разработкой, потом судьба так сложилась, что в итоге занимаюсь 1С.

(1),(2)

1. Делал, 87% времени ожидание обработки сайтом (обмен идет через HTTPСоединение(), стандартный обмен через УТ).
    
2. Узкое место в загрузке сайтом.
3. Не в моей компетенции.

(5) Спасибо за инфо! Я с самого начала пытаюсь разработчикам сайта объяснить что это самый короткий путь, но у них другая позиция, они пытаются уменьшить задержки при обработкой API, но пока из этого ничего путного не выходит.

(5) разработчики могут не дать доступ просто.

(0) ты хотя бы уже выяснил, где именно тормозит? На стороне 1С, или на стороне API, ни интернеты медленные?

(7) Я специально разворачивал локально битрикс, и к сожалению тормоза не из-за интернета...время обмена совпадает с рабочим сайтом.

(6) если тупит API, то при чем тут 1С? Требуй у разработчиков, чтобы при твоих объемах загрузка длилась требуемое тобой количество секунд или ты пошлешь их в жопу с их сайтом и обратишься к другим разработчикам.

или речь про разработчиков именно Битрикса, а не конкретного сайта? Короче, у тебя есть техническая возможность проигнорировать их "нельзя" и грузить напрямую в БД?

(9) Золотые слова :) Послать всегда успеем...

(10) Мы вроде с ними договорились напрямую в базу писать, они должны были предоставить инфо "что-куда" (планировал через внешние источники), но в итоге сказали - что будем оптимизировать через API. То ли они не компетенты (боятся последствий, не смогут разобраться и т.д.), то ли я не прав, и так правда делать нельзя....вообщем поэтому эту ветку и создал, чтобы услышать мнение людей, которые подобное уже реализовывали.

вообще, правильно - через API. А все эти напрямую поползновения - это от безысходности или нищеты. Не приведи господь что-то куда-то переедет или отрастет между ними какой-то прокси/балансировщик. Или еще изменится хоть что-то в ИТ-ландшафте. Все ж по звезде пойдет мгновенно.

Так что про API - это они правильно говорят. Только теперь надо расчехлять нагибатор и выдвигать требования к быстродействию их этого API и добиваться выполнения этих требований.

(7) "разработчики могут не дать доступ просто." - куда? К хостингу моего сайта, от которого я знаю админский логин/пароль и на котором могу делать с БД все что угодно?

(12) "Только теперь надо расчехлять нагибатор и выдвигать требования к быстродействию их этого API и добиваться выполнения этих требований." Тут Битрикс нагибать надо, а его особо не нагнешь.

(13) (14) автор не говорит, что за разработчики. Я исхожу из т ого, что это какие-то волшебные разработчики именно сайта, про который известно, что он где-то там API битрикса использует. Может сайт конторе не принадлежит

(5) Можете сориентировать по трудозатратам написать выгрузку напрямую в БД Битрикса?

Как то было дело выгрузки цен у номенклатуры, 15 000 позиций,  очень долго шла выгрузка, даже если отправить 20 поизиций, сайт загружал минут за 15, узкое место было на сайте с битрикс.

Разработчики сторонние, контору не буду разглашать...Позиционируют себя как битриксоиды....
Хостинг наш...

(17)  Похожая ситуация у нас...в чем был затык у Битрикса? Как решили?

Есть модуль оптимизированный загрузки из 1С, в платных разработках на битриксе, нам его ставили, обмен значительно ускорился. И я надеюсь без картинок выгружаешь?

(20) Можешь ссылку дать?

(21) сто лет назад было.

(19) Собирались решать так:
на стороне битрикса базу разбить на части, что то такое, не помню точно.
Тормоза были из за того что размер базы был большой на сайте. В общем оптимизация обработки загруженных данных в битриксе.

Этим занимались программисты сайта. В итоге закончилось тем что у клиента деньги кончились на всякие там оптимизации

1. Не грузите все и сразу.
2. Сделайте веб сервис на стороне битрикс для обновления элементов поштучно.
3. Обновляте сайт онлайн-при записи или по рег заданию отложенно.
4. Смотрите на таймауты и работоспособность сайта во время обена.
5. Выставьте нужно количество элементов в 1 пакете чтобы не жрал память.
6. Используте highload блоки для свойств.

(20) "Продвинутый обмен 1С" (http://marketplace.1c-bitrix.ru/solutions/askaron.pro1c/) про это речь?

(24) Спасибо за рекомендации, учтем...

Если поможет: http://dev.1c-bitrix.ru/learning/course/index.php?COURSE_ID=42&LESSON_ID=6330&LESSON_PATH=3912.4912.6330

(27) с этого начиналось все...