Как думаете возможно?
Размер файла 1 гигабайт.
Клиенту очень нужно.....

Решил запустить сейчас тем что есть. 1Ска уже 10 гиг сожрала и идет дальше.

16 гиг оперативы....

Очередной лавочник, который хочет торговать "всем"..?
.
Читать построчно.
Писать построчно или порциями.
Возможно имеет смысл предварительно обработать файл, приведя его к "нормализованному" виду, с одинаковыми длинами строк.
тогда чтение можно организовать "истинно построчное" (что должно дать выигрыш при чтении такого файла (?)
Возможно имеет смысл такой нормализованный файл заюзать через драйвера сторонних БД как "источник данных"

код в студию.

7.5 ? УТ 5.0 ? Самому интересно, продолжайте наблюдения, мы с вами свяжемся.

Маня решил 15кк запихать сначала в ТЗ?

(6) что такое ТЗ?

25 гиг оперативы...

Маня не в курсе что читать и писать в базу надо транзакциями из примерно 50-300 элементов?

Точное число один знакомый даже подбирал методом половинного деления на лету, засекая в обработке время

Да я пытаюсь сейчас в ТЗ запихнуть.

Для начала в ТЗ. если ТЗ загрузится. Тогда можно сказать что это возможно

Размер файла какой?
В ТЗ оно займет от 4 раз больше оперативки а до смотря сколько там колонок.

Короче у меня память кончилась. И сейчас что то делает с 27 гигами.

(10) потом поставь точку останова и посмотри ТЗ как заполнится.

(13) Если своп не отрубил то руби процесс ))

удивительно

Все браузер того да? Повис ))

зачем создавать ТЗ в данном случае

(0) А в файле, если не секрет? Запчасти?

(19) *что в файле?

(16) Удивительно это "успех" отдельных личностей не смотря на недостаток технических знаний в своей области деятельности

Даже при хорошем раскладе вот не поверю что 1С при всем её контроле сможет в клиент-серверной версии писать быстрее чем 5 элементов в минуту (допустим загрузка идет порциями в фоне и у нас есть массив данных которые нужно тупо писать).

Исходя из этого
15 000 000 / 5 = 3 000 000 сек
3 000 000 / 60 = 50 000 минут
50 000 / 60 = 833 часа
833 / 24 = 34 дня

Я так думаю клиент хочет ежедневно обновлять и раз в месяц его не устроит

Работает компонента. Загрузка пока идет без 1С.
Но в конце она выхлопнет ТЗ.

(18) а ты предлагаешь в цикле перебора что то в 1С создавать сразу? ага.... А если в баазе уже есть предлагаешь в цикле каждый элемент искать?)))) ню ню...


Плюс клиенту как он сказал не нужно все.
И наверняка еще что то понаадобится...

(11) Ага ТЗ на форме. Чтобы клиент галочками выбрал что не грузить :)

ТЗ нужна. чтобы потом запросом за раз синхронизировать все с 1С. это по любому придется делать.

(22) >сможет в клиент-серверной версии писать быстрее чем 5 элементов в минуту

Может все же в секунду?

У меня ТЗ  в хранилище сразу пихается. а на форме 500 строк для настроек.

(26) В секунду конечно, описался

(25) Запросом??? Да вы батенька извращенец.

(29) а чем? лол.... как ты собрался потом со справочником синхронизировать?
Ведь чтение это только малая часть.

Тут классическая задачка которая вынуждает делать неправильные "запросы в цикле".

15 лЯмов записей и всё в тз? И этот человек будет продолжать гнуть пальцы на форуме как крутой программер?

И это мы не говорим о доп.инфо вида
отдельный справочник единицы измерений
всякие РС (типа штрих коды, версии объектов, цены)

(32) во первых я не утверждаю что это нужно. я просто взял пока ато что есть) ради интереса!!

(30) Вынеси наружу в свою компоненту из 1С уиды (элементов справочников) и снаружи 1С и синхронизируй, а потом сразу синхронизированное заливай

(32) Да ладно, он суперкомп за пару лярдов купит и все взлетит!

Короче не нужно всё это пизать в 1С. Для этого нужно просто настроить импорт из csv в mssql и грузить стредствами скуля. Иначе анриал

ТЗ это задание или таблица?

НУ все.. он даже не считался...

только что ошибка формата потока... гейм овер.

(38) Таблица значений, причем которую он собирается передать как параметр в запрос ))

(39) 1с не в состоянии такие объемы переварить в ТЗ. Ни в памяти, ни на форме

(40)+ Тут должен быть злодейский смех "Муа-Ха-Ха"

(25) ну ок.. но все 15 лямов за раз то зачем?

(41) сейчас не буду эксперементировать. остаавлю на потом.

в 1 000 000 я грузил прайсы. причем за 5 минут.

Думаю что все получится если выполнять все по 1 000 000 строк.

Maniac Почему не загрузить этот файл в скули. А далее через в 1С через ВИД заюзать эту таблицу

(44) Плиз прочитай (9)

порежте файл на части и не мучайтесь.

(43) потому что я пока просто так решил попробовать.
Если кому интересно могу скинуть файл.
Пишите завтра в скайп/почту.

На сегодня все.

(40) А чё оформить ТЗ - задание по ГОСТу - ума не хватает? Я плохо разбираюсь в 1с что хочет ТС?

(47) есть резалка?

Читай через vbscript

(44) Т.е. у тебя 1С 1 000 000 новых позиций создавала за 300 секунд? Т.е. в секунду 3000+ позиций в секунду?
ПОТРЯСАЮЩЕ (с) из анекдота

Поскольку Волшебник убедительно просил "птичку нашу не обижать", я издеваться над Маней не буду. Но и другим мешать не стану.

(45) я файл получил за пять минут как тему завел. и запустил тем что есть..... пипец... вы хоть читайте что я пишу.

Если есть предложения какие то дельные - пишите.
Завтра почитаю.
Если кто хочет сам попробовать могу скинуть файл.
Может и клиента передам. Мне не жалко!

(49) Загрузить прайс поставщика с 15 млн позиций в 1С средствами 1С

(54) чем (45) не вариант?

(55) где то в глубине души я верю что 1С должна когда то что то с этим сделать.

(45)
Вообще я когда от клиента усслышал сразу ему во всем отказал. Но попросил просто мне скинуть файл.
От балды сидеть писать бесплаатно сейчас что то. это вообще не вариант.
Я бесплатно не работаю.

Кому нужно - контакт его в скайпе.

(58) Пусть клиент ветку на форуме с описанием задачки создаст и примером прайса (можно небольшим, не проблема увеличить до нужного объема).

И коллективный разум может что и решит.

(57) Ну если рпхост с криком out of memory не упадет она конечно за месяц его прожует

Читай порциями в ТЗ + fso.OpenTextFile

Завтра будет на связи мой дельфист/питонщик. Может быть (если будет желание) поговорю с ними над вариантами без 1С...
И то если клиент осилит оплатить суровую сумму денег.

(59) Ну тут всегда вспоминается анекдот про полочку. Прибить то мы её прибъем, только нафиг она тут нужна

Или вообще без тз

Я его пока отправил в ТрейдСофт. Там специализируются на автозапчастях.

(62) Подозреваю проблема именно в правильном ТЗ, в смысле в задании.

Можно же проблему решать обходными путями.

(50) в СП разделить()

(62) что значит без 1с, из 1с доступно создание объекта для чтения файл скриптом vbs

(65) Так бы сразу сказал что запчасти )) Блин давным давно есть решения для подобного, причем очень простые.

В 7ке всегда так читал, оперативки вообще не расходуется

(69) Самое интересно что еще лет 10 назад ТС хватсался такими решениями, как он отказался от 1С и у него скорость загрузки увеличилась на порядок.
А тут подменили его

(64) Да никакая ТЗ нафик не нужна, достаточно перегнать прайс в любую базу/вид куда 1С сможет делать запросы передавая свой список номенклатуры. И обрабатывать ответ.

(70) Ну у меня вопрос только в записи, ибо про то что прочитать 10 000 записей в секунду - я верю. А вот то что 1С сможет эти 10 000 записи записать за туже секунду, или даже за 5 секунд - не верю.

(72)+ Требуемой конкретно сейчас для приобретения номенклатуры или наименований для подбора.

(74) Для подбора по большому счету не нужно грузить в 1С. Пусть во внешней базе на скуле лежит. А уже после подбора, если нужно, создавать новые позиции

(2) я бы сказал, что с таким количеством номенклатуры как-то не вяжется всего 16 гб оперативки ) по финансовым соображениям

слушай, а что за номенклатура? (всю ветку не читал)

(76) Это на его домашнем компе. Ему клиент прислал файлик он у себя дома его грузит

(76) каталог автозапчастей

блин, тут в Ростове с этим каталогом периодически по кругу бродят, похоже

А номенклатура - скорее всего автозапчасти. Это они такие прайсы любят

(0) я бы знаешь как попробовал сделать - обработкой сначала запустил создание пустышек в 1с-ке в справочнике, а потом пошагово сделал бы update скулем - 2 поля, артикул и наименование же?

скинь файл в открытый доступ

В MS SQL есть BULK INSERT https://docs.microsoft.com/ru-ru/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-server-2017
На гиг данных Экспресса хватит. А уже потом его тащить в 1С. Потихоньку

народ вон по егаису марки в сторонних базах держат, здесь такая же история.

скорее всего клиент - лавочник какой-то. они такие "прайсы" любят. типа как записная книжка...

Почему нельзя грузить файл порциями в свой регистр сведений через набор записей, а потом разбираться с сопоставлением?

(81) ну если знать как формирует guid 1с - то можно и инсертом, я вот не знаю

(81) странно, кто-то пользуется экспрессом здесь? о_О

(84) А вот в базы 1С своими кривыми руками вам лезть никто права не давал.

(86) да, это нарушение лицензионного соглашения.... ну я так гипотетически

(84) Причем тут 1С?
Берем отдельную базу, далее грузем в ней через BULK INSERT csv файл.
Эту базу цепляем через ВИД (внешний источник данных) к 1С. Ну и далее строй запросы, делай выборку порциями и грузи

(85) Экспресс самый дешевый из доступных вариантов.

(89) ага, бесплатный

(88) я думаю, что заказчику не проканает никакой ВИД, ему надо открыл справочник и все как на ладони...

я вот думаю, 15 млн записей - это больше 4 гб таблица - в фаловом варианте проканает?

или я отстал, сейчас 4 гб - это не предел?

(90) не предел

(91) Это с какой версии?

(89) sqlite же

(90) >заказчику не проканает никакой ВИД, ему надо открыл справочник и все как на ладони

Кто/что мешает показывать этот справочник порциям на форме?

(94) кстати, sqlite30 можно подключить как ВИД к 1с? пробовал кто-то?

(92) 8.3. чего то там

Сколько платят за решение вопроса?

(85) очення великая весчь. однака ...

(92)
Размер каждого из вышеперечисленных внутренних файлов не может превышать:

● для формата версии 8.2.14 – 4 Гбайта.

● для формата версии 8.3.8 с размером страницы 4096 байт – 4 Гбайта.

● для формата версии 8.3.8 с размером страницы 8192, 16384, 32768 и 65536 байт – 6 Гбайт.
(с) https://its.1c.ru/db/v838doc/bookmark/dev/TI000001287

(93) sqlite - in-process DB. По сути не сильно будет отличаться от последовательного чтения исходного файла. (а так то на csv-файл можно ADO натравить). И как-то там в sqlite с балк-инсертом большой вопрос. А mssql на загрузке больших файлов собаку съели.

(99) по-моему не влезет - хотя не знаю точно

(100) там нет bulk, нужно делать COMMIT

(100) SQL-lite довольно шустро импортирует csv. По крайней мере база недействительных паспортов где-то минут за 10 примерно зашла туда. Примерно столько же индекс создавался.

А так, я бы, наверное, решил вопрос в ms sql(если клиент-сервер) через bcp и регистр сведений. Если лениво, можно посмотреть конкретную реализацию:
http://catalog.mista.ru/public/238160/

я отказал заказчику даже не только по причине загона в 1С это было бы очень примитивно.... но я потом подумал как он будет там цены ставить.... запросы крутить... документы переоценок делать... дад тупо цены поставщика загонять....

короче простотоценил дальнейшую даже примитивную работу... и понял что если я даже загоню ему жтов 1С и даже создам и дальнейшую синхронизацию обеспечу.... и он конечно же заплатит деньжат....

но потом любая дальнейшая работа с  этим просто ляжет.....
и вот именно пожтому я ему сразу написал...сори но яне продам вам мой продукт... я слишком тупой.

1С ник....

(105) Так база на sql или нет?

(106) ну раз отказал, выкладывай справочник здесь - посмотрим

(107) я думаю, если заказчик обращается на аутсорс с подобными вопросами врятли у него скл база.... для него 1с - это программа - как ворд скорее всего

(105) "я слишком тупой."
эта ветка выдает тебя с потрохами :))

(81) Гиг данных это вроде в старыъ экспрессах было. В последних вроде 4Г

(105) Правильно - не фиг иметь дело с людьми, которые хотят странного. Задача-то решабельная, просто без задатка в 2М смысла нет конопатиться.

(107) нет еще никакой базы. чел тока хочет на 1С подсесть

(105) Тупым быть выгодно. Умный давно бы всё сделал, взял свои 10 тыр и забыл. Зато тупой будет два месяца тупить и клиент ему будет два месяца платить.

(113) Ну так скажи клиенту, что надо сервер покупать, мол на файловой не потянет и сё такое.

(110) не каждый умный это сделает
https://youtu.be/IxBhmTTky3g

(112)) в точку!!!!! приходят всякие думают что за 15тыщ....

(116) Умным такое не интересно.

(118) ну и слава богу!

В 1с конечно тоже артисты. Давно бы уже какой нибудь BULK придумали. Это же совершенно необходимая вещь.

+(120) Когда нибудь сделают и маньякины прайсы начнут загружаться в 100 раз быстрее. Вот деньги потекут то.

(116) Ну да чего с каждого по 10к. Один раз внедрил консолидацию и свободен на квартал.  А то еще узнает каждый, что такая обработка в комплекте с УТ идет.

(120) Сейчас набегут апологеты ACID и постучат тебе тяжелыми книжками по голове.

(120) они не осилили выгрузку в типовых в csv из коробки. А что ты от них хочешь это вообще космос для них

(121) надеюсь жто произойдет до того как я стану старым пенсионером....

(123) в 1С тоже все стареют и когда то сменятся все. скорее всего продукт полностью изменится также.

(103) У меня, помню,  на дохлом ноуте 8 летнем за 7 минут загружался этот файлик в SQLite. Главное отключить журналирование и ещё там чота и индекс создавать после загрузки, а не сразу вместе с созданием таблицы.

по теме есть какая то софтина готовая которая пилит файл на части?

(123) С 7.7 есть все, это ты доки не читаешь.

мее кажется это самый простой вариант без мозгов. распилить файл и уде дальше порциями чо угодно делать.
есть такая? в закладки добавить.

(127) Зачем? Грузишь через поток. Ему поборту сколько файл размером - он его не грузит в RAM.

(137) Сам распили. Тыж программист. Заодно узнаешь как в 1с с файлами работать.

(128) Мы же про 8-ку?

затем что я не планирую изобретать новый продукт а хочу если даже будет 2 миллиона подстроить под свой.
мне не нужно чтобы у меня было вагоны собственного софта и особенное для совсем единичных клиентов.

(131) ок!

но кстати  я бы дружил с человеком который специализируется на подобных клиентах. даже просто передавать их.

(135) https://1c-programmer-blog.ru/yazyk-1s/tipy-dannyh/rabota-s-dvoichnymi-dannymi-v-1s-8-2-i-8-3.html

на вот почитай и не позорься больше с 25 гигами оперативы

(136) А на итс послать вместо левых сайтов?

(137) ну уж чо в гугле первое попалось

+(136) Не забудь потом прорекламировать свой прайсопульт словами "Новая версия использует революционные технологию обработки данных с помощью BigData-потоков и BIockchain-двоичных преобразователей позиций номенклатуры"

(136) давай завтра (добавь в скайп) я тебе дам задачу на которую времени нет. готов оплатить работу.

Тупо нужно допилить чтобы файлы картинок массово по ссылкам на клиенте - на сервер пихались и там грузились. потоком.

(140) нафиг мне твои задачи. мне и так не скучно.

(139) блин чувак... у меня стока и так тут рааботы со всем на свете.. что еще не до этого.
передавать через адрес храанилищ... меня можно не учить.
Я на третий день выхода УТ уже выпустил релиз обработки.
И еще сотне программистов потом на вопросы отвечал как это делать.
Сейчас есть мелкие задачи в который погряз. и планов и работы вагон и тележка. Руки даже до картинок не доходят.
Готов оплатить допилку ))))

(140)>> Тупо нужно допилить чтобы файлы картинок массово по ссылкам на клиенте

А типо с каталога загрузить никак?

(141) а вдруг ты умный окажешся и меня носом пихнешь что я прозрею и выкачу продукт будущего.
Я тебе сразу 49 процентов дам своих акций и ты разбогатеешь рядом со мной!

(143) у тебя есть хорошая обработка загрузки картинок? приму в каталог.

(127) нафига пилить csv ?! ЧтениеТекста же есть

(146) эээ... пилить файл - значит чтобы он стал не один в 15 000 000 а 15 по 1 000 000.
Нажатием кнопки. Желательно мгновенно (или максимум минута)
Мне пофиг на чем это будет. Главное чтобы ну очень быстро.

(147) тебе же долдонили уже, что пилить не надо. или до тебя не дошло?

А еще лучше с настройкой. Задаем количество и режет на кучу файлов.

Это идея для программы которую будут покупать!
И не нужно будет изобретать какие то другие загрузки.

(148) я как идеальный маркетолог и человек понимающий что всем есть цена и время, понимаю что болтать одно - садится делать ДРУГОЕ!

И каждой вещи есть своя цена, с другой стороны заказчик который рассчитывает на определенные траты.

Нужны простые решения! а не суперсложные где сейчас засесть и на месяцы застрять.

(149) займись этим. у тебя талант из ничего делать деньги.

(150) Пять строчек кода это не простое решение?

Если все просто - то чего вы меня загоняете в работу!
Давайте тендер. я свои личные заплачу за самое крутое решение! Судей назначим. Победителю 10 000 рублей.
Готовы?

(153) Ты сначала клиенту расскажи, что ему нужно сервер купить

(152) пять строк кода за софтину которая сейчас загонит в 1С - 15 000 000 строк? одновременно синхронизирую с 1С? и дописывая чего нет плюс с обновлениями цен и тому подобное????
Ты что то гонишь.

Ты думаешь справка из синтааксис помощника - и все дело в шляпе?

(155) я говорю про разделение файла на части (147)
15 000 000 записей это другой вопрос

(154) забудь про клиента. Абстрагируемся от него, а еще лучше я становлюсь клиентом!
Вот с этого момента меня считайте заказчиком.
Ок я потом куплю серваки и прочее.. все что скажете..
Вы сначала сделайте что нужно - у себя. покажите.
А то что мне нужно будет это уже дело второстепенное. Я заплачу и без этого!

Я сейчас делаю тоже что то похожее.
Только с логами ТЖ, лежит у меня за день 100+ гб логов.
Чисто интереса ради.
Взял 1с - построчное чтение 30 гб в один потом около 5 минут.
Взял питон - то же самое за 3 минуты.
Взял GO - Еще быстрее.
Дальше к этому файлу применяю всяки регулярки и пост обработку что бы на выходе был нормализованный csv для загрузки.
Один Эс на строковых функциях осилило 5 потоков и после пары часов я просто погасил.
Питон - 40 минут в один поток.
И Внимание - запустил сразу 100 шут батником и не поверил - 30 гб логов с пост обработкой ТЖ скушалось за 5 минут. Сделал несколько тестов 5-10 минут в зависимости от нагрузки на диск.
Конкретно Вам бы посоветовал - взять питон, он такой 1с только во взрослых языках, разрезать на файлы по 100 000 записей и скормить одинэске

(157) Исторический момент когда Программист Маня превратился в Бизнесмена Маню...

(156) ааа... ну напиши - заплачу. я хоть тресни не понимаю какие 5 строк кода это решают.
И сколько времени это будет работать.

(159)+ Но до Доржи еще далеко ))

(157) вот тебе специалист нашелся (158)

Те для деления фаайла мне еще и серваак нужен?!!! опупеть.
А без него что совсем никак?

(163) ты точно тупой

(163) у вас в школе информатика была?

(163) разделить файл быстро и 1с может

(160) Запускаем счетчик внутри цикла по строкам, пишем в первый файл, как достигли счетчиком 1 000 000, пишем следующий файл, второй счетчик +1 (отвечающий за имя файла), первый =1 и т.д.

В один поток без строковых преобразований скорость не фатально отличается

Но скорость работы именно чтения большого текстового файла 1ской меня порадовала, если в 82 это было просто дно, то сейчас уже не так печально

(158) у меня компонента на питоне.
Вначале темы я писал в реальном времени что происходит.
На конце ее отработки - когда она выплюхнула в 1С ТЗ - 1С умерла.

Правда у меня есть уже тоже на питоне сервис который пилит все по указаанному количеству строк. Но я не запускал обрааботку в веб-сервис (потому что он в интернете) так как 1 гиг файл бы тока лился хз сколько....

Мой кодер на питоне отлиичный чувак... но сильно занятой!!!! его надо воодушевить работой!

Компоненту если допиликает то задача будет решена, но я его уже боюсь дергать.

(171) ему файл разделить 5 минут

(172) Читайте файл построчно!!!! а не целиком в память

Я время не засекал. но компонента минут 15 отработала и я сто процентов уверен она все сделала.

я не далее как в пятницу читал монолитные файлы в разы большие чем 1 ГБ

(167) построчно долго будет. нужно гигами читать, дочитывать побайтно до конца строки и выплёвывать.

(173) да есть уже деление. но мы это в веб-сервис пихнули.
Компонента старая уже.
Но придется ее обновлять.
Мой спец занятой ужас.

ФайловыйПоток = Новый ФайловыйПоток(ИмяФайла,РежимОткрытияФайла.Открыть);
    ЧтениеТекста = новый ЧтениеТекста(ФайловыйПоток);
    Стр = ЧтениеТекста.ПрочитатьСтроку();
    МассивПодстрок = новый Массив;
    Пока Стр <> Неопределено Цикл // строки читаются до символа перевода строки
        
        Стр = ЧтениеТекста.ПрочитатьСтроку();
        
            
        КонецЕсли;
    КонецЦикла;
Это работает и на удивление быстро

(179) давай я тебе дам файл. пофиг напиши обработку на 1С где я выбираю файл и он делится.
Готов заплатить! зачем вы настоячиво мне предлагаете сейчас самому кодить!!! не понимаю! прошу же - напишите! заплачу.
Больше времени тратим.

(174) Построчно как-бы файл читать проблематично. CRLF искать надо.

(180) Мало платишь походу.

Главное чтобы это было минуты. 10-20-40 не устраивает!
1-2 минуты.

(180) Спать пора уже

(182) Буха-ха . Я знаю оборудование на котором такое за час прокатит :-) Только там 5-тонный грузовичок для него понадобиться.

(180) 15 мин

(184) Да не. У него идея фикс - файл разделить на части.

(180) http://www.ilovefreesoftware.com/25/featured/free-csv-splitter-software-windows.html

(187) А маниак бы на твоем месте, разделил бы файлик этой прогой и с тебя деньги взял.

(186) и это правильное решение!! потому что по в 1С даже если мы все будем грузить документы сдохнут тупо регистрирующие цены.
К тому же там 99 999 ограничения!!!!!!!!!!!!

Истинный вариант . это по 99 999 получать фаайлы. их прогонять синхронизировать единым заапросом в 1С и тут же грузить в 1С.

(186) Даже если принять производительность дисков в 150 Мбайт/сек и учитывать только это горлышко выйдет только на запись 67 секунд. Это только для разделения.

Ну вот! уже что то! а еще лучше все таки что то на 1С!
Так сказать чтобы можно было управлять этим.

например регламентным заданием потом заливать файл, делить, грузить.

Полная автоматизация действий. Человек вообще не должен учавствовать ни в чем.

(189) Маньяк, а ну давай раздели ка файлик (187). Посмотрим сколько уйдет времени.

(191) Так это же разово. Нафиг париться.

(189) А зачем грузить документы цен? Можно по записи добавлять и транзакциями. Я еще удивляюсь какого черта ни один POS нормально не грузит данные транзакционно - а тупо чертовеми файлами :-)

(191) Это бред. Я вообще это как шутку написал.

Он просто взял настроил. поставил галку ушел... а 1С сама берет и все делает полностью от начала до конца.
даже сама заказывает товар поставщикам.

чел поставил 1С. настроил загрузку. включил сайт. и уехал на Мальдивы.
А 1С+ сайт сами все торгуют, закупают.. деньги принимают. вообще все делают!

(195) Опять нажрался, скотиняка

(158) Питон опасный язык. Он чем-то куда-то и что-то но контроля нет. Чем-то похож на 1с - видели многие, но потроха знают единицы.

(196) Думает как нам обустроить 1С.

Лана) Мой корефан вышел на связь сказал подумает!
Мож даже с клиента этого чего то заработаем.

(199) 517 мб за минуту с копейками

https://drive.google.com/open?id=1dvlu9m7U7FxPuAYnf9Q_srCxrrfEvAx6

Я изза копипаста из другой обработки 40 минут убил, в букве опечатался и не мог понять что не так)

Диск не ССД специально тестировал на самом медленном своем диске)

https://drive.google.com/open?id=1gDv_64nHAwgpFYbGJzrfy0SR7BqmPT-l Поправил форматирование и убрал лишний код

{ВнешняяОбработка.ВнешняяОбработка1.Форма.Форма.Форма(11)}: Ошибка при вызове конструктора (ФайловыйПоток)
    ФайловыйПотокЗапись = Новый ФайловыйПоток(ИмяФайлаЗаписи,РежимОткрытияФайла.ОткрытьИлиСоздать);
по причине:
Ошибка при работе с файлом: C:\Users\User\Downloads\ПРАЙС 15 000 000\price22.csv
по причине:
Ошибка совместного доступа к файлу 'C:\Users\User\Downloads\ПРАЙС 15 000 000\price22.csv'. 32(0x00000020): Процесс не может получить доступ к файлу, так как этот файл занят другим процессом.

Дада

Скачай 2ю версию

(204) Вот эту

(205) Продолжайте наблюдение, галактеко опасносте

https://drive.google.com/open?id=1gDv_64nHAwgpFYbGJzrfy0SR7BqmPT-l Поправил опечатку в нейминге 1го файла разрезанного.
Что устал сегодня такие тупые опечатки(

Ок. Молодец. Запустил. пару минут все делало 15 000 000 по 100 000.

В скайп напиши телефон и сумму.

Если бы я еще скайп знал)

С кодировкой только какие то проблемы.

Skype: shekineugeniy

Да вот другое дело. Моя обработка хавает файлы по 100 000 строк за 8 секунд.

(213) Там при чтении и записи можно поменять кодировочку

120 файлов по 8 секунд. плюс синхронизация и запись.
Ну ок пусть будет на каждый 2 минуты.

240 минут... ептить как ни крутись клиенту 4 часа ждать)))))

При этом естественно исключительно ему нужны серваки нормальные.

(217) ну просто создание такого количества ссылочных сущностей само по себе затратно по времени. Можно пустить паралельно в фоне например

А вот такой вопрос. на стадии чтения я ж могу обращаться к каким то данным?
ну например тупо мне не нужны 15 лямов все.
А только скажем так некоторые производители.

Хотя риторический вопрос. конечно же могу!

Добавиишь еще этой обработке опции - чтобы можно было разложить и наложить фильтр! ЦЕны не будет!

Я бы такое на продажу выложил!

Те мало того что мы делим. еще сразу и фильтруем!
и на выходе получаем только то что хотим!!!

Ну это я могу если чо и сам сделать. Но ты если хоч, в плане творчества - можешь взятся. Если конечно хочешь чтобы все авторство было исключительно твое.

(222) К сожалению завтра тяжелый день и надо уже закруглятся.
А вот именно функции работы со строками (СтрНайти и прочее) уже являются узким местом на таких больших выборках, здесь уже пришлось питонировать(

Да и это самое интересное. чтобы фильтры были!!!!
Это сразу эту обработку делает бесценной.

Но так как за код 1с мне не стыдно, его я могу выкладывать, то в Питоне я любитель и увы, Home Use Only

Ок я уже завтра сам начну эксперементировать с этим.
Спасибо! спишемся в скайпе!

(224) Если известен формат, то приделать можно.

(225) отлично и это что ты питон любишь. Буду знать если что к кому обратится!

Короче я тебе телефон пополню. а то сбер не находит

в три раза больше сумму чем ты запросил

Но увы именно 1с разочаровал - там идет на таких выборках дичайшая нагрузка на проц.
Не то что люблю, это инструмент, который я только своими клешнями начал трогать.
(229) Да ладно, я так мозг размял, это не обязательно

Файл можешь удалять! А то нахяляву накачают! пусть тоже платят!

(232) Удалил, проверь

Жлобы.

Так и сообщи сразу мне по скайпу о твоих условиях авторства на данный модуль)))) из 15 строк.
Так как я человек сугубо принципиально работающий. то не могу себе позволить авторство причислять или использовать.
В обработку или добавь себя как автора, а также опиши условия данного продукта.
Как я его могу использовать и для каких целей.

Блин, я челу 500 руб забыл отбашлять за деление эксельного файла... нехорошо, надо будет найти и исправиться.

(233) не ведись на Маню.
Требуй ренту со всех продаж.

(236) вот вот! заплати человеку пятихатку!

(238) Не ссы, забашляю... Хоть обработка VB и кривоватая - гуй виндявывй падает после нее ;-)

вот, нашел... не забыть до завтра.. ;-)
Разрезать большой Excel-файл с кучей типовых ТОРГ12 по одной

(179) > ЧтениеТекста = новый ЧтениеТекста(ФайловыйПоток);

а что ЧтениеТекста уже разучилось напрямую файлы читать, обязательно поток нужен?

(241) Я этот кусочек кода в рамках другой задачи использовал. Сравнений по скорости не делал. Работает и работает быстро и хорошо

(241) пусть будет. это интересная тема!

"Но они не позволяли каким-либо простым способом проанализировать внутреннее содержимое или модифицировать его. Все действия выполнялись над всеми данными целиком. Единственная операция, которая была возможна над частью данных это разделение файла на части и склейка обратно."

Вот как раз то что там еще и можно чего то анализировать или менять - мне это тоже очень актуально!
Я не знал о Потоках. я тупой 1Сник

(242) думаю, не будет разницы, но кода меньше. особенно, для неокрепших умов, которые будут читать твой код

Начну завтра изучать. так как у меня как раз задача теперь еще фильтровать содержимое. а это анализировать.
И сделать универсальный инструмент. которому пихаешь. он дает анализ, в обработке накликиваем чего нужно.
получаем только то что нужно.

Вот тут типа об этом пошире

http://v8.1c.ru/o7/201602bin/index.htm

(246) тогда точно ВИД нужно использовать

(248) а это что такое?

внешние источники данных

Сначала с простых путей. 2 минуты для 15млн фигня.
Попробую ручным способ анализа в цикле. сделаю замеры.

Если будет все в районе 5 минут. то нах заморачиваться.

Если проблемы. тогда только искать более сложный инструмент.

я так понимаю ростовские 1С-ки принципиально используют только файловые версии 1С ? :)

5 точно не будет. но посмотрим. люблю говорить когда есть факты.

(252) не ростовские а конкрето пока я. И да именно так. потому что когда ты делаешь что то на массу клиентов, то нужно понимать что и у 20 процентов не будет СКЛ.

(251) анализировать такой объем данных лучше средствами БД. 1ска загнется на построчном анализе

(255) не спорю. но нужно просто сделать тесты.
При удовлетворительных результатах не вижу смысла усложнять трудозатраты свои а также требования к клиентам.

Я думаю тема еще будет жива. так что поболтаем. пошаманю. посмотрим чо да как на конкретных результатах.

(251) Если не будет псевдо регулярных выражений - то должно уложиться

(256) ну вон в (158) что пишет:
"Один Эс на строковых функциях осилило 5 потоков и после пары часов я просто погасил. "

(259) Там объем был 30+ гб + достаточно тяжелые соспоставления - не просто банальный фильтр

в данном случае все просто. Я уже даже догадываюсь как.

В этом конкретно файле автозапчасти. Специфика автозапчастей всегда одна - производители.

Скорее всего (я уверен) речь идет о том чтобы из этой всей хрени получить определенных производителей.

В этом CSV это конкретный порядок колонок с разделителем, в части которых и есть производитель.

Все достаточно просто.
Но конечно нужно делать универсальный инструмент по всем колонкам и возможности всех фильтраций - точное РАВНО или нечеткий поиск и тп.

Но это все опции, от которых зависит скорость и то что хотим получить.

(260) для такого у скуля есть штука под названием Integration Services - классный инструмент ETL

и он вроде как бесплатно идет со скулем стандартным

Причем самое важное тут речь идет даже не о том насколько огромен файл, а просто даже если будет и 10 000 строк. инструмент такой нужен, который файл может брать - перелопачивать и выдавать другой файл.

Я почему так загорелся. повторю видос (буквально за 1 час сделал то что годами не делал)

https://www.youtube.com/watch?v=IxBhmTTky3g

меня даже от этого прет! а тут стечение обстоятельств. И я теерь думаю как на уровне файла нааучится сразу все фильтровать!! вот ГДЕ ТЕМА!

Если я научусь и сделаю нечто универсальное. мне поух этот конкретно клиент с его 15 лямами строк.
Мне тут важен сам принцип работы.
Так такие вещаги очень нужны в моей специфике, хотя не против того чтобы 1С когда то летала со скоростью звука....

(229) зачем 15000р на телефон класть?

(266) Потому что в файлики 15 000 000 товаров, поэтому и на телефон 15 000р Логично?

(267) нищебродство какое-то.. хотя бы по 5 копеек за товар, ну на крайняк за 1 коп за товар...

(268) я файлики умею делать по 45кк строк, нет Ростовской симки?

(269) Нафейхоя мне ростовская симка?

(261) А нах это все в 1С нужно в таких объемах? Прайсы должны грузить прайс-аггрегаторы, вроде http://веб-прайс.рф/
Там же настраивать ценообразование. 1С взаимодействует через api

(271) Це ж Маня :)

Ультрапрограммист чужими руками, бхехе.

Короче ВСЕ!

закрыл я задачу! реализовал потоковую загрузку прайсов в 1С.
С делением на файлы и даже могу накладывать фильтры сразу.

Можно теперь грузить ваще ЧТО УГОДНО. Со всеми финтиплюхами от начала до конца. с любой сложностью данных.

Врешь небось

Зуб даю. Уже пошел клиентов обновлять

(261) Не хотел бы тебя расстраивать, но в запчастях немножко больше сложностей. Смотри:

1. на твой логан пойдёт кронштейн от твоего мерса, но не наоборот.
2. ШРУС в Логан можно ставить с PN1488 в диапазоне vin от 1 до 15000 и PN8814 c 150001 до 29 февраля 2004 года.

Пока хватит?

(276) кто в здравом уме будет ставить на логан кронштейн от мерса.
он наверно раз в 10 дороже

(276) значит денег больше заплатят

грузить кросы и аналоги это отдельны таблицы в автозапячатях. дело техники..
повторюсь для меня был важен принцип.
даже для тех у кого 10 или 50 тысяч товаров это функционал дает большую скорость.
так как теперь запросами можно быстро синхронизировать даже битьем по 5 тысяч.

прирост скорости огромен.

(279) Сделай следующий шаг, откажись в своих "прайсах" от 1С по максимуму.

Из базы 1С берутся только остатки и потребность в номенклатуре, далее грузится куда то во вне и там все подбирается по поставщикам.
Назад в 1С готовые заказы поставщикам.

файл построчный,при желании,режем на части и грузим в несколько потоков
опять же,например,по десять элементов в транзакции должно грузить и не жрать память.

(280) это все равно что себе в коленку стрельнуть ты предлагаешь? у меня есть клиенты у которых и 1000 товаров всего и совершенно разные бизнесы. Вообще не обязательно даже интернет магазин.

(282) Нет предлагаю тебе расширить аудиторию на конторы без 1С (основной учетной не бухии).

И готовиться к будущему в облаках, когда нельзя будет твою поделку во фреше запускать.

(283) без 1С уже есть решения. сервисов полно и прочее.
загрузка у меня не главное.
я в 1С всей автоматизацией занимаюсь

(281) Проблема в том, что Евгений подсел на синхронизацию через запрос (передавая туда входящие данные через параметры в ТЗ). Если на каждые 10 делать запрос - долго, очень долго будет. Придется Мане учиться пользоваться соответствиями.

сейчас синхронизация занимает на 100 к строк - 4 секунды.
Это как ты говоришь с ТЗ и обратной

синхронизация самое быстрое что сейчас есть!!
Все тормоза главные всегда на записи.

запрос то единый. без циклов.
с ТЗ 1С замечаттельно работает. это самое быстрое что в 1С есть. гораздо хуже все это создавать, проводить документы и тп. даже без документов в регистр сведений.

Хотя к примеру создание 100к товаров занимает 7 минут.

у меня замеры впихнуты во все места с выводом логов.
1) Самое тормоз - запись чего либо в 1С
2) На втором месте Обработка тз - когда там всякие вспомогательные справочники типа единиц, валюты цены, производитель и прочее.
3) Первичное чтение
4) и только на последнем синхронизация. это самое быстрое.

Хотя замер максимальный у меня такой.
Загрузка 100к - обработка в ТЗ (где мы закладываем откуда какая колонка что значит).
Синхронизация с 1С всех элементов.
Запись цен.

37 секунд результат в фоновом задании.

37 секунд это если вcя номенклатура есть в базе.
Если нет - то еще 7 минут на ее создание.

В принципе у 99 процентов клиентов нет такой номенклатуры....

Я бы сказал так что 98 клиентов вообще до 10 тысяч и меньше.
Остальной 1 процент - 30-50-70к....

И вообще мизер - на пальцах считать кто 100 и выше.

Это таких 2 если в год приходит ко мне....

А есть клиент у которого вообще 100 товаров. Так он уже пятый год со мной работает.

(2) что мешает сделать режим загрузки по 1000\10000 объектов за раз и потом продолжить чтение файла.

Вон прайс последний что на видео. Там вообще 150 строк, но характеристики колонками с ценами. В итоге 1500 строк.
Вот и вся номенклатура. Вообще чих и все готово.
А у чувака нервный тик от такого прайса был.

Как вариант проверенный: берем R или Пайтон - т.е. то, что справляется хорошо с бигдата, читаем из csv (в оперативу или файл) и "чистим" данные, т.е. приводим к удобоваримому структурированному виду.
Если нужно записывать в 1С - пишем на 1С http сервис по  записи данных, например из json строки. Причем с учетом распараллеливания в фоне - от 8 процессов (дальше увеличивать осторожно). И отправляем порциями из среды разработки в 1С через http сервис данные порциями.

(293) правильно - сразу разделять процессы.
Если бить файл - то сразу все разбить.
а потом массив перечитывать.

Это и красивый код и понятно все. И процессы не задеживаются.
Все верно тут подсказали - что нужно разбить файлы.
И это делать первым.
А уже все остальное.

К тому же если еще и фиильтрация - то тут надо все перечитать сразу.

Ибо например будет прайс на 50 000. а нужно 1000.
Но первые в начале, остальные в конце одного файла располагаются.

(296) да, варианты оптимизации есть.

Короче я допилил отдельную обработку для разделки файла.
и сделал ее универсальной с универсаальными фильтрами причем множеством способов.

Это и вхождение строк во всю строку, и поиск подстроки из массива слов из строки.
И нечеткий поиск и тп.

Для теста у меня есть файл в 400 000 товаров.

В общем захотел получить все товары в строке которых естьт 4 циферки. Результат 8 секунд и файл на 120 килобайт на пару сотен строк.

Прямой поиск по строке 8 секунд....
Через разложение строк в массив и поиск значения в конкретном месте 120 секунд.

Конечно 8 супер! но и 120 в случааае каких то ну прямо очень сложных вычислений, а разложение в массив я считаю - самым жирным. 2 минут - ваще куета полная для файла в 400к строк.

Короче фильтрации понаделал разной всякой, на все случаи жизни. с правилами и плюшками.

Кому нада - продам за пару тысяч обработку!

Ща еще допишу под клиент-сервер. чтобы если чо на серваке можно было обращаться в каких то процедурах.

Ну типа как то так

https://www.youtube.com/watch?v=L1nxzZV6N7E

Работает все изумительно быстро! Просто шикардос!

Жека,я понимаю непогода....завтра буду в Ростове, приезжай в Шахты ближе к вечеру, гляну на твою лысину

(303) Поржал. Наверное твои видео действуют на местных фермеров просто завораживающе. На прайсах в космос! Искренне желаю успехов.

про 15 миллионов

https://www.youtube.com/watch?v=VtkOnUDpFqI

Из видео абсолютно непонятно для чего надо делить 150 млн на части и грузить частями. И почему нельзя загрузить/обработать 150 млн сразу.

Из видео понял только одно. что есть возможность на 150 млн наложить фильтр и сделать вырезку из нескольких файлов, которые содержат данные соответсвующие фильтру. все.

Видео мутное.

(307) Ты не врубаешься. Не надо искать в этих видео какой то смысл. Это стихи для ИП Петюшенко Николая Петровича. Просто говорят много красивых и непонятных слов на приятном уху G-говоре. ИП Петушенко понимает, что его мучениям с компьютером пришел конец и шагает к мане, зажав в кулаке трубочку с пятерками. Смотри и наслаждайся талантом автора.

Маня, между прочим, тебе в (280) очень вкусную бизнес-идею подали. Организовать облачный сервис в формате АРМ закупщика с подпиской и интеграцией с учетными системами заказчика. Золотая жила в перспективе.

(309) таких армов уже десяток нашлепали в интернете

(303) не твой случай. там заХрузка  и оХромные прайс листы.

(306) До Мани так и не дошло, что делать 150 файлов совершенно не нужно. Ну да ладна :))

(312) если не делать, тогда не будет повода сделать новую закладку с крутым словосочетанием "потоковая загрузка"

(313) так потоковая загрузка как раз для того, чтобы файлы не делить. а он потоковой загрузкой нашлёпал 150 файлов.

Загрузка в Мегапрайсе готовится алгоритмами с готовыми ругулярками глубокого и гибкого прогрессинга агрессивного сграбливания позиций деревьями Тьюринга.

Флудисты))) Вы наверное всю ночь не спали чтобы чего нибудь да написать.

Для 1С - облачные облака и тп - не взлетит никогда!
можно забыть что в ближайшие 10-15 лет это изменится.

делать АРМ какие то в облаках...тьфу как скучно.

(317) 15 лет назад мало кто слышал слышал про существование смартфона, а сейчас он у каждой бабушки. Это я к тому что ИТ-технологии развиваются даже не семимильными шагами, а еще быстрее. Через 15 лет вообще все будет в облаках, не только 1С, если конечно к тому времени человечество не уничтожит себя.

(319)  да без проблем. только ты понимаешь что то что я делаю это 1С, написано на 1С, работает в 1С....
И если 1С работает в облаках то и это все работает в облаках.

Что вы мне советуете мне  вообще не ясно. Это все иитак любой кто арендует 1С может себе ставить и работать.
У меня есть клиенты в облаках.
Только облака на сегодняшний момент все равно для киосков....Слишком урезанные ресурсы.
Общался с поставщиками облаков, делал тесты, договаривался.
Даже 1С ставят 32 битную, на на 64 нужно уговаривать.

собственно мне вообще как разработчику пофиг.
Раазве что имеет смысл ... это открыть свои облака, целый бизнес. Арендовать дата центры, 1С заключить договоры арендовать и там уже все остальное...
А так итак у кого любая типовая в облаках - может использовать мои нетленки....
Так что о чем говорим мне непонятно.

Сдавать в аренду какую то обработку аля АРМ закупщика написанную для 1С в виде обработки. ну это смешно.

1) аренда копеешная и куча геммороя с поддержкой.
2) заводить сотни клиентов по 5 копеек - это виселица.
3) типовые меняются так что без поддержки обработка через год перестанет работать на каком то обновлении типовой. и ее по любому нужно годовую поддержку продлевать.
4) внешние обработки в аренду уже смешно. у них защиты нет.

Так нафига мне устраивать какие то затеи с арендой обработки за 5 копеек с не явным результатом. но только геммора нажить.

Выгодная модель это не аренда, а годовая поддержка.
Выгоднее сразу продать на год обработку за хорошие деньги, чем получить за 1 месяц 500 рублей..
Мало того что обработку поимеют, так и не стоит забывать что такие вещи не совсем тот рынок где прямо пачками народаа навалит.

Это чтобы 50 тыщ рублей заработать вмесяц нужно 100 клиентов!  Да я окуею чтобы за 50 тыщ/месяц со 100 клиентами возится..
Это вообще долбанутый бизнес получится.

Я вообще планирую цены поднять в два раза!
Чтобы сократить количество клиентов.
А если не сократится (так как я прикладывааю просто немеряно сил в работу как никто) - ну стану в два раза больше зарабатывать и тогда денег точно хватит чтобы еще иофис с людьми открыть.

В той же аренде копеешной, нужно иметь немерянный штаты чтобы сопровождать какую то нетленку на вагон копеешных клиентов.

Простая математика - можем сесть и посчитать, сколько нужно клиентов, по какой цене - чтобы всех обслуживать да еще себе чего то зарабатывать

Мой опыт показывает что главные проблемы это
количество клиентов
низкая цена.

Чем ниже цена и больше клиентов, тем себе на горб  непосильный труд за суп с тарелкой.

(0)как 2 байта переслать

(320) Да я собсно ничо не советую. Просто отметил тот факт, что сейчас ИТ-технологии стремительно смещаются в облака и к этому надо готовится, чтобы через 15 лет не остаться у разбитого корыта. Вот и задумайся, что и как у тебя будет работать, если 1С уйдет в облако. Например тот же файл ты должен будешь положить не на локальный комп, а куда-то в облако, иначе задолбаешься до него добираться с 1С-ки, которая в облаке.

(325) А вот и ответ на Манин же вопрос:
OFF: Почему куда не ткнись - везде мы переплачиваем?

Я не планирую через 15 лет заниматься тем чем занимаюсь сейчас. Может вообще не буду айтишником ни в каком виде.
Придут поколения новые - вот и им слава и почет.

(328) в данном случае речь идет о недоплате)))

(329) >>Придут поколения новые - вот и им слава и почет.
Вот как раз через 15 лет мало кто придет, ибо это будет поколение конца 90-х/начала нулевых, а там был демографический провал.
Так что придется тебе и дальше тянуть эту лямку, ибо больше некому :)))

(57) > я верю что 1С должна когда то что то с этим сделать.

"с этим" - это с чем? С дебилизмом некоторых заказчиков? Средств загрузить большой объем данных в БД 1С - вагон и маленькия тележка. Почему разработчики платформы для оптимизации должны выбрать именно ваш метод (из текстового файла с разделителями) - метод, используемый довольно редко.

"1С должна". С чего вдруг? Подобная задача возникает довольно редко (имеется ввиду в таких объемах делать загрузку). Даже когда все прочие задачи будут решены, не думаю, что 1С должна заниматься задачей, объем которой ниже десятых долей процента.

Берем файл , обработкой разбиваем на части. Части потом загружаем. Ничего особо не решаемого там нет.

(333) да вот именно это и сделано. плюс реально замеряно и оценено.

Провожу тесты и прочее. постоянно. корректирую и так далее.

(331) ну что за чушь. Прийдет. 150 миллионов человек. ты думаешь никого нет чтобы работать?

В будущем может даже еще умнее будут.

(81) Можно и версию для разработчиков для такого использовать, там вообще нет никаких ограничений.

(336) Да я вот думаю пенсионную реформу не просто так замутили. Наверно действительно лет через 10 будет нехватка трудовых ресурсов и это главная причина проведения реформы, а вовсе не нехватка денег в бюджете. Денег конечно тоже не хватает, но это не главная причина. Не будет трудовых ресурсов - денег еще больше не будет хватать.

(0) как-то так это было?
https://i.imgur.com/tUnTW7m.png

а, загрузиТЬ. Я прочитал "загрузиЛ".
невпопад получилось

(339) класс!!!! DDDD

Вернулся клиент который прайс  15лямов.
посмотрел видео. Офигел.

Но теперь сказал до конца задачу!
Ему не нужна 1С вообще.

Он хочет чтобы из этого файлы выдернуть чота надо + переоценку сделать (проценить) и впихнуть что надо с новыми ценами в новый файл!

Поэтому я доработал обработку и она теперь еще и цены меняет!

(342) Перекупы должны страдать

(342) >Ему не нужна 1С вообще

Блин тебе сколько уже раз говорили - выкинь ты эту 1С из своей поделки, делай веб-сервис в инете

Но он готов купить 1С тк как ему надо переводить бухгалтерию и прочее. может и торговлю.

Так что все ок. Он еще и мегапрайс купит весь.

(344) а кто это будет писать все? Маня не умеет всего этого

(346) Ты запиши все свои видео на DVD и еще диск ему впарь в догонку.

+(348) Нашлёпай еще сувенирочки всякой. Магнитики на холодильник "Мехапрайс с потоковой захрузкой"

(347) Думаешь Доржи умеет в html c php ?

(350)+ Как же он ИС то создал

главное в оперативку не грузить. поток прочитает норм

(350) у доржи целый штат

Только что сделал прогон прайса в 15 лямов.
С фильтрами и изменениями цен. 3 минуты...

тьфу... делов то.

не сорян. 288 секунд это почти 5 минут.

Причем с разбором строки, обработкой конкретных значений, опять сборка в строку.

Короче говоря не просто так считывание.

(351) Так купил на битриксе готовый шаблон у 1С

(357) парадокс в том что купив обычный битрикс он сразу убил проклуб, на котором какой то гомнявый самописный движок.
ИС попер потому что картинки можно было вставлять!)

(338) я думаю трудовых ресурсов вполне будет хватать. Не будет хватать трудовых ресурсов, готовых работать за копейки.

(358) насчет картинок это ты точно

Короче я пошел еще дальше, ... и так как вчера была сдела обработка по разделке прайса.

То сегодня я наоборот сделал склейку прайсов. Массовую, от разных поставщиков.
С одновременной проценкой и выхлопом файла.

https://www.youtube.com/watch?v=cCbjlkd9F8U

набор костылей - этио всегда хорошо... всегда можно подобрать нужный... главное - не нае..ся когда от костыля к клостылю ковыляешь...

(363) DDDD

(310) А можете ссылочек подкинуть, не рекламы ради, праздного любопытства для. Чота гуголь на запрос "арм закупщика облако" только обработки вываливает.

(365) https://yandex.ru/search/?clid=2186620&text=прайс%20лист%20онлайн&lr=10740&redircnt=1542341942.1

(366) Это же вообще не то.
Речь идёт о полноценной АРМ, которая формирует прайс, исходя из потребностей заказчика, которые подгружаются из его учётной системы. Закупщик выбирает поставщика, в онлайн-АРМ формируется пакет для 1С, в которой из этого пакета данных создаётся заказ поставщику.

Т.е. тот самый манин мегапрайс, только в облаке.

(367) Ты уже все ссылки просмотрел что ли

(369) А что, надо все просматривать? У тебя прямая ссылка есть?

Хотя бы название чего-нибудь из заявленного нашлёпанного десятка.

(371) http://веб-прайс.рф/
https://portal.1c.ru/applications/60

(372) Премного благодарствую.

Все онлайн сервисы не понимают одного, что люди не хотят в онлайн вылазить потому что ценят свой бизнес. И не доверябют никому.

У меня есть клиенты которые даже тупо не публикуются в отзывах. Говорят мы не хотим чтобы о нас знали. У нас сейчас все хорошо и нет конкурентов.

Маня один умный и всё понимает :)

Когда ты начнешь работать торгашем чего нибудь, очень быстро начнешь понимать про выживаемость на рынке. Что нужно постоянно бороться с конкурентами, и многие даже находят плюсы в том что о ниих не знают, что они ниикуда ничего не публикуют, ни в каких онлайнах где пачками все штампуется нету.

Я думаю даж цены поднять в два раза, чтобы продукт был только у тех кто ценит свое конкурентное преимущество.

(375) ну это вообще надо быть на голову долбанутым чтобы свою коммерческую инфо (прайсы поставщиков) - свои какие то базы и тп - в интернет заливать какому то сервису, где вообще неизвестно какие Васи сидят и что с этим потом делать будут.

Они же потом всю инфо на сайте распишут - мол мы вот такие каталоги поставщиков даем.... ага...
Поимеют по полной.

У меня часто Васи приходят ко мне даже... никола ни двора..
с голой опой..
Собирается сайт открыть, каталогами все напичкать. чуть ли не всем на свете торговать. У самого ничего нету.

>многие даже находят плюсы в том что о ниих не знают, что они ниикуда ничего не публикуют, ни в каких онлайнах где пачками все штампуется нету

Патамушта эти поставщики работают под конкретных покупателей и ограничены объёмом поставок. Тупо не хотят выходить на уровень, когда ими заинтересуются рейдеры и прочие органы.

Крупным поставщикам вполне себе выгодно быть известными и публиковаться везде, где не лень.

(380) тока вот малый бизнес основа экономик. а крупный зачастую зажравшийся.

А средний куда делся в твоем мирке?

(382) среднему потихоньку приходит трындец. скоро останутся только газпром, роснефть, ашан и манины клиенты

(0)Подклитесь файлом CSV для тестирования

(384) сам сделай себе такой файл. делов то

(374) Раз с автозапчастей начали, можешь хоть одного поставщика автозапчастей назвать с миллионным прайсом, у которого нет своего веб-сервиса для заказа? Эти офлайн-прайсы также актуальны как ИТС на DVD дисках.

"У меня часто Васи приходят ко мне даже... ни кола ни двора..
с голой опой..
Собирается сайт открыть, каталогами все напичкать. чуть ли не всем на свете торговать. У самого ничего нету."

Что мешает Васи заиметь сайт, в котором реализована интеграция с парой веб-сервисов поставщиков и начать торговать не имея ничего? У большинства крупных поставщиков автозапчастей есть франшиза.

(386) чтог ты мелишь... Чтобы с крупным поставщиком автозапчастей работать нужен оборот в 100 лямов.

Голодранцу с голой опой не дадут доступ к сервису.

Это все равно что себе в коленку стрелять. Крупные дистрибьюторы атозапчастей в том числе конкуренты друг другу.
А давать голодранцам доступы - это срзау себя лишь низких цен.

Даж не автозаапчастей, техника например, чтобы доступы иметь нужно подтвердить спопобность держать оборот выручки не ниже какого то.

(386) Ну у меня в 7-ку загружено около 500+ тысяч позиций товара разных поставщиков. Причем 400 тысяч это прайсы 4-х поставщиков, остальные - это мелачовка генерируемая порядка 40 поставщиками. И да "веб-сервиса для заказа" нет

(387) https://emex.ru/optovikam/BusinessHelp
Доступ к сервисам предоставляется зарегистрированным клиентам с конкретных IP-адресов. Для начала работы необходимо прислать заявку на подключение через ресурс http://emex.ru/ws
Если вы работаете через нашего оптовика, направьте ему заявку на подключение.

(391) держи карман пошире) ща они разгонятся и тебе доступ дадут) - но... к максималаьной цене....

Это же доступ к конечной рознице.
А не дистрибьюторской базе

И кстати прослоечные веб-сервисы которые типа веб-сервисы веб-сервисов - тоже шняга.
Там цены не те.

(392) И только Васе по секрету скидывают csv файл с минимальной дистрибьюторской ценой? Какой договор, такая будет и цена что через веб-сервис, что через офлайн прайс.

вы все еще грузите? (с)

(396) https://www.youtube.com/watch?v=rQ0UyNj-qcs

(23) грузи средствами скуля и потом работай через внешний источник данных

"И только Васе по секрету скидывают csv файл с минимальной дистрибьюторской ценой?"

Зачет)

400!

Гиговый XML читается средствами SQL сервака 90секунд... CSV по идее ещё быстрее может затянуться

В общем я выпустил при новых продукта, которые усиленно развиваю.

MegaPrice Mix: Массовая склейка и проценка прайсов поставщиков в 1С без импорта
https://subsystems.ru/solutions/parsery-praysov/gruppovaya-protsenka-praysov-postavshchikov-v-1s-bez-importa/

MegaPrice Editor: Разрезка и редактирование прайсов CSV + проценка
https://subsystems.ru/solutions/parsery-praysov/razdelenie-faylov-csv/

MegaPrice Converter: Загрузка-конвертация YML / XML / JSON в 1С (парсер)
https://subsystems.ru/solutions/parsery-praysov/zagruzka-praysov-yml-xml-v-1s-parser-praysov/

(401) две минуты. на локальной машине.
под i7 7700K
Приемлемый результат!

А 5 минут если я там еще каждую строку раскладываю в массив и получаю значения, меняю, и снова в строку!!

Я считаю это шикарно! теперь наращиваю функционал и финтиплюшки!

Приму программистов! которые имеют наработки в работе с разными API !!!

(405) Мань, работать с тобой - это зашквар...

(406) Можешь не работать рожденный ползать летать не может.

(407) Писец тупизм. В (179) давно решение дали. Плюс транзакция, которую коммитить каждые 50000 строк. И такой файл загрузится в базу за 3-5 часов.
И никаких костылей в виде вк и других программ.
Главное не пихать эти строки в общую таблицу, иначе просто сожрется память.

P/S Это не зависит от языка. Сам занимаюсь запчастями и не на 1С.

(408) +быстрее только прямой импорт средствами MSSQL (на несколько порядков)

(405) э...а в чем сложность работы с АПИ?
Можно было просто написать "Приму программистов!"

(410) я встречал 1С-ников, которые не знают как настроить прокси и для чего нужен шлюз и dns в настройках сети. Видимо автор тоже на подобных насмотрелся

(411) бывшие геодезисты?)))

(408) + уточнение: сейчас грузил файл больше 2кк в NodeJS+MongoDB - в итоге получилось 1,5 кк (т.к. там дубли по разным склада), загрузилось за 15 минут.

Можно Кто силен в SQL? Команда MERGE интересует.

(411) Потому что это были настоящие профи в своем деле, а не эникейщики.