Всем привет!
Есть УТ 11.1 и интернет магазин на Битрикс. Между базой и сайтом настроен обмен.
Всего в базе порядка 60000 наименований товаров. На них на все, три раза в день происходит установка цен номенклатуры по трем поставщикам (всего 5 видов цен номенклатуры), итого, получается что за один раз, в регистр Цены номенклатуры записывается 300к записей, в день почти миллион. На сегодняшний день, если посмотреть отчет по записям в таблицах SQL сервера, одна таблица имеет порядка 70млн. записей.

Все это было сделано ради внедрения механизма виртуальных складов. На сайте фирмы отображается весь товар, который есть в наличии у поставщиков, и который можно заказать по текущей актуальной цене.
Сначала данные по поставщикам загружаются в 1с, а потом выгружаются на сайт с наценкой.
Почему цены обновляются несколько раз в день, потому что цены зависят от курса, курс в течении дня меняется несколько раз и цены у поставщиков соответственно тоже. В идеале клиент хочет еще чаще актуализировать цены, но пока не получается.

Схема работает, клиенту все нравится, в базе он видит актуальное наличие и цены товар поставщиков, на сайте тоже все как нужно. Но у таблиц же есть какой то лимит записей, когда то это все может стать. Что можете предложить, коллеги?

Нет у таблиц лимита. если вы не на файловой это сделали.

Как только надоест хранить цены месячной данности - вы будете их удалять И СЖИМАТЬ ТАБЛИЦЫ БД.

(0) Удаляйте старые записи.

(1) Удалять путем распроведения документов установки цен? Если так, то насколько я понимаю, на учет в базе это никак не повлияет?

(3) Нет. А обмен с сайтом быстро проходит?
И еще вопрос: фото товаров на сайт выгружаются?

(4) Обмен с сайтом занимает около часа, всегда выгружается полный каталог. Фото товаров при этом не выгружаются.
Итого минут занимает установка цен, час выгрузка на сайт, в сумме приблизительно 2 часа на полный цикл обновления цен.

(5) Итого 40 минут занимает установка цен, час выгрузка на сайт, в сумме приблизительно 2 часа на полный цикл обновления цен.

есть мнение, что можно не записывать записи, которые не меняют  текущие цены, таким образом сократив количество новых записей в регистре раз в 20. Естественно, нужно отключить возможность изменения документов установки цен задним числом или сделать что-то типа последовательности, чтобы при изменении старых документов новые документы перепроводились и те записи, которые должны пропасть и появиться пропадали и появлялись.

(7) У них от курса зависит. Курс меняется - меняется ВСЁ.

Переходи на мегапрайс.

Я тебе подскажу как выгружать 50к за 20 секунд. с ценами. остатками - всей байдой.

Курс в течении дня меняется несколько раз))) На сколько?
5 десятых процента?)
Поставщики как правило фиксируют курс. и говорят какой.
Его в базе можно хранить один раз получая цены поставщиков и изменяя цены номенклатуры только на изменившиеся позиции. а не на все 60 000 товаров.

(8) да бред это. 10 лет занимаюсь маркетингом, 4000 клиентов, сотни интернет-магазинов, тысячи прайсов  загружал.
никакого кипиша подобного не видел.
99 процентов поставщиков курс у.е в прайсе пишут фикисированный. ну да меняются остатки -их нужно обновлять.
ну да прайс листы нужно обновлять.
Но это не значит что цена прямо у всех 50000 товаров в день меняется три раза.
Это полная чушь)

На лицо просто видно что работа построена через одно место безо всякого отслеживания и контроля.

тупо все данные что есть каждый разу запускают в полную прокрутку, пересчеты, расчеты и установки.
Да еще и обмен наверняка с сайтом наверная юзают типовой или от Битрикс)

а может цены сразу в валюте хранить?

(13) мой мегапрайс может хранить цены на каждый товар в любой валюте.
Вот вс тремя валютами загрузка https://subsystems.ru/articles/instruktsii-megaprays/zagruzka-praysa-s-tsenami-v-trekh-kolonkakh-v-trekh-valyutakh/
также хранит индивиудальный курс поставщика (4 типа курса).
А в модулях анализа цен у меня фиксируются только изменения.

(8) Ты там работаешь? У них товар - валюта? Мне интересно, что скажет ТС. И почему его так волнует размер базы.

(0) ты пробовал в типовой настройку порогов срабатывания. когда на рубль меняется - чтобы цена не менялась))) лол.
и записи лишней не было.

(11) Ну это же не новость, что курс действительно меняется постоянно в течении дня, пусть даже на 5 десятых процента, если мы говорим про флешку, то да, разница с пересчете на рубли с учетом округления не будет заметна, или совсем ее не будет. А вот если это какой нить макбук про, уже разница есть. Вы никогда не работали с таким поставщиком как Мерлион? У них в b2b цены на товар реально меняются в течении дня постоянно. И если мы обновили цены утром и товар стоил 100 долларов, в обед он у поставщика будет стоить уже 110, а на сайте все еще по 100 и клиент сделал заказ по 100 и мы уже не докажем что цена товар стоит дороже. Будем продавать в убыток, а нам это ненужно)) это работает в нашу пользу когда товар дешевеет, но не дорожает) а идея по поводу фильтра товаров на которую цена с учетом пересчета на рубли не поменялась хорошая, буду пробовать, спасибо!)

А и да . 11.1 ... чувак обрадую тебя. там пипец в регистрах хранения цен.
они потом в 11.2 жестко переписали.
так как там в измерениях цен поставщиков нет Партнера, а соглашения.
В итоге чтобы по поставщикам цены получать - через точку надо обращаться в запросах.
Соглашение.Партнер...

на огромнных количествах данных и постоянно обрабатываемой инфе - это смерть.

(0) Проще грузи все в один и тот де документ. История, как понимаю, не нужна.
Пусть он, будет хоть старой датой. Или дату можешь двигать.

(12) 200 лямов заработал и сидишь на мисте, ты маньяк?

(17) это сказки все. Годами хожу по торговым центрам. как была на него цена одна так весь год одна и таже.

на 10 баксов цены не прыгают. Изменение цен на 10 баксов это одно.
А курс при 60 когда на +-20копеек - это просто ржач чтобы делать переоценку всего каталога.
Либо твой дир идиот или жадный что за копейку удавится.

Никто так не работает и не делает.

А если даже и делают и есть такие обьемы - то надо делать все с умом. а не хватать все и все подряд переписивывать и устанавливать.

На лицо просто видно что никакой автоматизации и оптимизации нет.

С мерионом вообще никто не работает)))) ахахах. у него цены завышенные на все.
Его юзают только чтобы каталоги товаров заполнить, да свойства стырить.
Ни одного клиента не попадалось который бы реально там закупку хотел делать.

Я как то спросил клиентов, а нафига вы модуль то заказывали под него. а мы даже заказы не выгружаем...Я жду чтобы модуль настроить купленный а они молчат.
а потом не выдержал сросил и мне просто сказали - не выгодно.

(21) Автоматизация есть, оптимизации нет. За этим сюда и пришел))

Я конечно дико извиняюсь, но разве вариант очистки старых записей(который ранее озвучивали тут) не очевиден? Вы сами думали, прежде чем создавать тему.
У меня немного "бомбануло". Иногда спрашиваешь про всякие сложные вещи, а тебе гворят что ты идиот и предметную область не знаешь и вообще лох. А тут такой очевидный вопрос, все же

Если ты торгуешь апплами и флешками, то цены там люди ставят по ценам конкурентов.
А на кучу техники вообще может быть полно рекомендованной цены.

а если так - то вообще о какой трехразовой переоценке может идти речь.

(23) Ну фиг его знает, заказчик просит, я делаю. Бывает такое что на отдельные позиции реально цены ниже, может это какие то индивидуальные условия, я хз, но это так, факт!

(25) Ничего страшного! Думал, но видите, тут и других идей подкинули, вон Maniac, на этом собаку съел и поделился своими мыслями, за что ему спасибо!

(27) твой директор воду мутит.

От его дергаться и паранои - он тока несет убытки и сам себе в ноги стреляет.

Что толку от его переоценки если как тыговоришь три раза в день. Потому что пока он сделает все выгрузит, и кто то это купит и прийдет заказ.

Пока он этот заказ создаст поставщикеу и отправит ему - тогда по всей этой логике - он ПО ЛЮБОМУ уже получит другую цену на этот же товар.

И будет разрыв между тем когда он загружал в начале дня - потом весь день занимался онанизмом - а в конце дня получил реальный счет все равно с другой ценой. и там будет судя опять же по всей логике - он все равно попадет на себестоимость.

Если учесть,что бакс скачет по 30 копеек то 3 рубля разницы.ну пусть будет 5 рублей,может стоит посчитать,А стоит ли геморрой этот

Недалекие люди думают что торговля это прайс+наценка.
И все уже в кармане)))

Создавать цены и иметь стока геммора - одна часть большого процесса.
Когда пройдет продажа и нужно будет еще запустить формирование заказов поставщикам - это тоже время на полдня.
Пока ты там возится будешь и поставщику заявку оформлять, он тоже еще два часа будет тебе счет делать.

И спрашивается кто тут кого наип..ть хочет? если именно закупка дает факт.

(31) Товар у поставщика резервируется сразу же после подтверждения заказа клиента по текущей цене. И он не имеет права выставить счет через 2,3,5 часов по уже текущей цене. Только по той, по которой товар был зарезервирован)

(32) Это в идеальных условиях. Было у меня несколько раз такое. Через такую же систему заказываю товар. И несколько раз мои заявки отменялись по причине изменения цены у поставщика, и нужно было делать заказ по новой с новой ценой. Хотя заявка на сайте поставщика также сразу регистрировалась

У поставщика может произойти случайно заканчивание товара в наличии) ведь он не подписывался что остатки присылаемые тебе в прайсе теперь твои.
пока ты там муму мучал. уже кто то другой купил)

А когда у поставщика цены самые выгодные - то и товар у него быстро уходит

Да и вообще все эти процессы такие семшные и забавные) ни один торгаш себе в минус никто торговать не будет и работать на каких то несчастных десятках процентов маржи)

50-100 процентов. норма. а тут за какие то копейки с изменением курса чудеса)

Имхо, проще всего хранить цены в валюте, а при выгрузке на сайт (когда наценку добавляете) пересчитывайте по курсу

(35) Да я по большому счету в Вами согласен, но есть головы которые ЭТО придумывают, а кто то исполняет, Вы же знаете, клиент всегда прав))

deman_ru, вопрос в (0) - по существу. Кто начинает критиковать - не заморачивайся. Спецам с опытом часто кажется, что они уже все повидали, и когда они сталкиваются с новой ситуацией, возможна попытка подогнать эту ситуацию под привычные стандарты.

По теме скажу, что "пухлая" история изменения цен сама по себе - это норма, если её хранение правильно организовано. А вот чистить ли её - это надо у управленцев спрашивать. Если старая история изменения цен или автор переоценки X в минус, случившейся полгода назад, нужна, то надо думать о переносе таблиц, в которых лежит эта история, на отдельный носитель.Возможно - о правильной их индексации. Или о создании отдельного механизма архивации этой истории.

(38) я пытаюсь тупо мегапрайс продать)

имхается, что надо бы цены устанавливать в той валюте, в которой они как можно реже меняются. и хранить не изменения базовой цены. а изменение курса. Но для этого управленцам нужно сначало хорошо подумать

(0) А в чем проблема-то? Ну много и много, если такова природа вещей. Проблема-то в чем?

>>Схема работает, клиенту все нравится

Зачем что-то менять????

Не-не, к тебе никаких претензий. Не имел намерения оспаривать мнение умных людей. Если бы диру ТС'а спеца твоего уровня, может что-то бы и изменилось, ну а поскольку у них то, что описал ТС, надо как-то еще организовывать технические моменты.

А ты предлагай конечно. Как знать, может ТС обмолвится диру, тот заинтересуется... и, действительно, купят.