Доброго дня!
Бухгалтерия 3.0 база серверная, подскажите как ускорить загрузку прайса из эксела, примерно от 60000 позиций.
стандартная обработка загрузки номенклатуры уже более 5 часов грузит.
еще вопрос, в документе какое максимальное количество строк может быть?

1 отладчиком - смотри самую длительную процедуру при загрузке (это ил ичтение строки екселя, или непосредственная запись в базу или поиск /создание какого-то реквизита)
2  документе какое максимальное количество строк может быть - любое.

(0) если xlsx, то там внутре xml (текст)

можно ПостроительDOM натравить на чтение

Прочитать ТабличнымДокументом.
Не благодарите.

(0)
99999 строк хватит каждому. Но только не для марок.

(2) но скрее всего не чтение из экселя тормозит, а (1) - поиск и запись в базу

Тут маня вроде где-то бегал, у него своя поделка есть, грузит по 100500 в секунду...

(0) это тебе к Мане, https://subsystems.ru/megaprice/

Если эксель на сервере есть то можно через него копированием памяти. В сети ищи примеры быстрой работы.

Но я переделал на 1с-кий для того чтобы избавиться от офиса.

еще заметил типовая обработка не ищет введенные позиции, а создает новые.
если написать свою загрузку с предварительным поиском например по артикулу, работать будет быстрее ?

(10) а откуда типовая обработка знает как искать позиции если это а) вообще в ней не предусмотрено или б) предусмотрено но ты не настроил..?

(11) читал на итс, но видимо там информация не свежая, в настройках не было настройки поиска, просто выбираешь файл и жмешь далее

(12) Мы тут в кишках ковыряемся и смотрим не на интерфейс а на код.

(13) так я не против свою обработку написать, с поиском по артикулу быстрее работать будет?

нафуя в бухии 60 тыс позиций прайса?

А что, бухгалтерия еще не создает для каждого счета свой регистр накопления?

(14) Быстрее чего?

У меня загрузка прибл. 60 000 позиций по по артикулу (нечеткий поиск с заменой всяких символов -,./*\ и проч. на %) порядка 30-40 минут.

автор, тебя ЛивингСтар покусал? сформулируй вопрос четко и ясно
как будет работать то, что напишешь ты - точно медленнее, поскольку прогаешь наверняка так же, как и мысли формулируешь

(18) круто, (19) пока ни кто не кусал, вопрос в том что типовая обработка загружает медленно,
и создает дубли, поэтому придется писать свою загрузку с поиском по артикулу + может наименованию, вот и хотел спросить поиск быстрее работает чем создание новых позиций?

(15) там 60000 позиций только по одному прайсу, а будет еще несколько. так нужно Заказчику

(20) а типовая - загрузка из табличного документа?

1. преобразовать в табличный документ. Начав с метода таб.документа "Прочитать", позволяющего встроенными средствами платформы загрузить книгу екселя в табличный документ (каждый лист - область с именем листа).
2. в типовых конфигурациях есть обработка загрузки данных из табличного документа. там можно сделать все что угодно. и сохранять-восстанавливать правила загрузки.

(21) хорошую настройку для обработки загрузки из табличного документа не предлагать? Или клиенту принципиально выбирать файлик и нажимать "Сделать хорошо"?

(23) так типовая и так вроде через табличный документ грузит

(24) примерно так и есть

(23) посмотрю "обработка загрузки данных из табличного документа", задача чтобы этот прайс загрузился не просто в номенклатуру, а в документ Установка цен, поэтому он и прайс. эта обработка позволяет загрузить в установку цен?

(0) открой для себя ADODB & ADOX, типовая загрузка не для больших файлов

(18) Скажите пожалуйста, а нечеткий поиск у Вас через полнотекстовый работает? Полнотекстовый поиск не очень быстрый и в Ваши скорости не укладывается.

(28) ну если своя обработка не взлетит, буду смотреть другие варианты

(30) в Деда Мороза веришь ?

попахивает ЛивингСтаром...

А я себе запилил утилитку xlstoTZ.exe
Кидаешь на неё мышкой .xlsx и получается файлик .tz, который можно загрузить в таблицу значений с помощью ЗначениеИзФайла() или ЗначениеИзСтрокиВнутр()

(33) а на чем сделана?

(31) для начала кто такой Дед мороз? это может быть реальный персонаж, который дарил конфеты и подарки детям на новый год, может этот персонаж выдуманный или это какой то собирательный образ в различных культурах. почему бы и нет. есть праздники есть дед морозы, которые дарят игрушки и сладости детям. в разных культурах он преподносится по разному, на западе это санта клаус на оленях, в нашей культуре со снегуркой на лошадях.

(32) с ЛивингСтаром не пересекался

(34) на паскале

+(33) вот про это статья есть https://infostart.ru/1c/articles/1116103/

Мегадок: загрузка документов в 1С из почты и Excel


Умная обработка для загрузки документов в 1С Бухгалтерия / УТ10 / УТ11 / УНФ / КА / ERP / 1С Розница.
Автоматическая система проверки почты и загрузка входящих документов в 1С.
Загрузка предложений, интересов покупателей, заказов и счетов от поставщиков.
Загрузка в 1С сделает всю работу за вас - распознает таблицу товаров, цены, суммы, ГТД и прочие данные.
Загрузка накладных, УПД, заказов, счетов, заявок и других документов от поставщиков и покупателей.
Загрузка номенклатуры, штрихкодов в 1С. Изменение номенклатуры.
Супер функция - cопоставление номенклатуры поставщиков (поиск совпадений по словам).
https://subsystems.ru/solutions/1c_excel/prostaya-zagruzka-dokumentov-v-1s-iz-excel/

Цена 24 900.

Есть в аренду в сервис 42 клаудс за 960 рублей
https://42clouds.com/ru-ru/products/modul1c/megadok.html

сорян 1200.

И еще в БП нет прайс-листов. там нет регистрации цен номенклатуры поставщиков вообще.
Максимум там есть Установка цен номенклатуры.
А что касается поставщиков - не было отродясь.
Поэтому я для нее даже не писал загрузку прайсов, есть загрузка доков, с автонастройкой и причими плюшками.

Ну и встроенны поиск соответствий - сопоставление номенклатуры поставщиков. Кстати две версии!

Для 1С ЭДО
https://subsystems.ru/solutions/raznoe/megapoisk-sopostavlenie-nomenklatury-v-1s-edo/
и для типовой загрузки
https://subsystems.ru/solutions/raznoe/megapoisk-sopostavlenie-nomenklatury-tipovaya-zagruzka-tsen-v-1s/


Все вышеперечисленное. Расширения. В 1С ЭДО и типовой загрузке - пристроена кнопочка.

(40) много конечно всего, но за 24900 я и сам сделаю то что нужно. благодарю

Загрузка прайсов поставщиков в 1С из Excel от А до Я
https://subsystems.ru/solutions/1c_excel/zagruzka_praysov_v_1s_iz_excel_csv_txt/

Вот эта разработка имеет скорость загрузки 100 000 товаров с полным чтением, с настройками, с синхронизацией и так далее 1 минута.
Если номенклатуру создавать в 1С с нуля то это где то 7 минут.

(43)  в курсе твоих разработок, даже встречал их у некоторых клиентов, у меня другая задача, сейчас типовая обработка грузит 60 т. позиций примерно 8 ч, меня и заказчика устроит, если загружаться будут часа за три., так что для меня проще свою загрузку сделать.

(37) Вах! Паскаль живе! :)

(45) Так а больше не на чем писать. На Си слишком долго. Остальное тянет за собой рантайм величиной с дом и средства разработки на пол диска. А в Lazarus тяпляп и готово.

(46) ну с этим можно поспорить. И если тебе нужен будет интерфейс, то без библиотек не обойтись

(47) Там с интерфейсом всё в порядке

(44) Вам же подсказали, читать таблицу в ТаличныйДокумент и хоть часами перебирать его неэфективными способами как вы и делаете ;)

А всё же знают, что в 2016 Экселе из 1с сохраненные файлы надо ползунок с прокруткой право перетащить, чтоб название листа было видно и Эксель не будет тормозить?

благодарю за ответы, эксел сохранил как ТабличныйДокумент, и загрузил типовой обработкой,
поиск был по артикулу, только не понял, она новые позиции умеет создавать?

сделал свою обработку, загружает быстро мин 10-15
делал через таблицу значений, как можно получить значения из таблицы по номеру колонки, а не по названию? можно конечно через счетчик сделать, но может есть вариант проще
вот пример кода

Для Каждого ТекСтрока из ТаблицаЗначений Цикл
        
        Наименование = СокрЛП(СтрЗаменить(ТекСтрока.Наименование, """", ""));
        Артикул = СокрЛП(СтрЗаменить(ТекСтрока.Артикул, """", ""));
        Цена = ПолучитьСтрокуТолькоЦифры(ТекСтрока.Цена);
        Цена = Цена * 1.2;
        НовСтрока = Объект.Товары.Добавить();
        НовСтрока.Номенклатура = ПолучитьНоменклатуру(Артикул, Наименование);
        НовСтрока.Цена = Цена;
        НовСтрока.Валюта = Валюта;  
        
    КонецЦикла;

уточню вопрос, из ТекСтроки можно как то номер строки получить ?

разобрался, вот так работает ТаблицаЗначений.Индекс(ТекСтрока)

запрос скорее всего как был цикле так и остался, можно быстрее

(55) ну сначала ТабДок.Прочитать, потом ПостроительЗапроса, потом выгрузка в ТЗ,
в самой ТЗ конечно циклом, но запрос только по номенклатуре, или находит по артикулу, или создает новую. можно как то ускорить? и так не плохо, мин 10 всего грузит

+ еще немного оптимизировал, думаю быстрее будет грузиться

И всего то навсего зажал клиенту сказать 20 тысяч потратить на решение...

с нищими клиентами если работать будешь то и сам ничего не добьешся.
Получается что ты сейчас где то за пятерку убиваешся чтобы что то сделать.
В принципе это хорошо если делаешь - твой опыт все таки это главное.

Но в циклах ничего не нужно делать. Если только не запись в справочник. там никак без цикла. А вот поиск например все одним запросом. никаких циклов.

(56) тут телепатов нет и то что ты пишешь - х.п.к.з. (расшифруй сам). Поэтому просто выложи свой кусок кода и тебе помогут

(39) как тебе сотрудничество с 42clouds ?

(59) нищие клиенты, это которые тебе 20 тыр, не заплатили?

Есть клиенты, которые могут позволить себе ЕРП или КА (но функционал ЕРП избыточен для них) и они покупают УТ+БП или УНФ+БП

и с прайсами так же, у кого то по 10 и больше прайсов и твоя обработка супер, да и стоит не дорого,  а у кого то один два основных поставщика и в установке цен достаточно загрузить из прайса одной кнопкой, без всяких вообще настроек, клиент выбирает конкретный файл эксел прайса и одной кнопкой загружает, вообще без всяких настроек

(61) так себе. песочница.

(59) ну и на счет пятерки тоже не угадал.

(64) честно говоря не разбирался у кого сколько. есть и с одним прайсом. тут дело не в количестве.
плюс для меня загрузка чисто это уже прошлое. я ща по всем блокам торговым работаю и там наворачиваю решения. по всей торговой части УТ

так что загрузка это уже даже больше прошлое. она конечно нужна и прекрасно работает. Но больше забот со всем остальным. по одним только закупкам можно просто ох..еть от разнообразия.

ты сделал загрузку? быстро делает?
где код что тебе там тормозит?

сейчас я вообще сосредоточен например на целой подсистеме для интернет-магазина. все. от работы со справочником до продаж и закупок. работа с апишками поставщиков и прочим всем.

я так то не жадный могут и скидки сделать кому нужна загрузка если кто считает чт оя ох.ел с ценой.

всяко пойдете всякое дерьмо купите.

(69) да все в принципе норм, 60т. позиций грузит мин 10,  даже не знаю можно как  то ускорить или нет, есть новые позиции которые только в цикле можно создать

давай короче показывай что у тебя там тормозит. какой участок. скажу как и чо ли в скайп стукнись скинь. гляну. и прайс свой. затестирую у себя

грузит именно читает? или синхронизация? или запись? конкретно что?

есть три фазы.
1) чтение 2) синхронизация 3) что то сделать в 1С

у тебя где тупит?

2) самое быстрое должно быть вообще.

первое - от того чем читаешь.
третье это уже от нас не зависит, а от 1С и железа.

а по поводу количества прайсов. да даже вот как раз когда один в 60 тысяч. и если там еще свойства и остальная пои..нь то без нормального инструмента все равно может не обойтись. одна кнопка КРУТО
Но ИНОГДА нужно по этому прайсы - и фильтры, и отчет и контроль.
Особенно отчет. плюс в самой базе еще увидеть эти новые товары. и прочее.
У меня там не просто загрузка а целый набор всего. Вплоть до фиксации даты номенклатуры.

у меня в цикле только получение номенклатуры, которая или находит по артикулу или создает новую (по артикулу) т.е артикул это основное, наименование и прочее второстепенно

и подсветок в справочнике. новое загрузил откуда ты свой загрузкой поймешь что нового создалось? лог писать? а  меня просто она уже горит в справочнике.
плюс редакторы всякие. мало ли нужно для сайта свойства перехреначить, там целый блок ... а не просто загрузка в одну кнопку.

(80) ну блин ты самое быстрое сделал самым медленным. поиск один запросом.

таблицу посчле чтения кидаешь в запрос и обьединяешь со справочником по полю. все.

а создание новой отдульная процедурка. где уже бежим - получаем пустоту и тогда создаем.

(81) есть комментарий туда пишу, все понятно

если несколько признаков поиска. значит делаешь 3-4 процедлуры разных но с одним запросом.

поочередно перебрасываешь таблицу с отбором - по пустой номенклатуре. те каждый послебующий поиск обрабатывает еще меньше информации.

в имтоге после всех троех процедур у тебя максимально заполненная таблица.

а уже последняя - там где пустые товары - создать их в базе.

(83) нет одной функцией или возвращает найденное или созданное, но блин это 10 мин. на все про все, стоит дорабатывать что то, клиенту похрен 10 мин устраивает

следующим клиентам просто предлагай мое решение. для партнеров начиная от 20 процентов кешбек.

(88) Вот где ты "типовым" сильно уступаешь, 1С партнерам 55% дает)))

(88) Евгений! я лучше свое напишу за 10 тыр, чем твое предлагать за 20 тыр и иметь с этого 20%, плюс еще все организационные моменты, обучать юзера пользоваться твоим и др. в (89) прав.

(89) ))) дает то дает. только пойди сейчас найди кому коробку продать!
Плюс какие там требования? а да. ты должен быть франч! плюс сотрудники с сертификатами! И выполнять норму. так как 55 это ты загнул чуть ли не до лучше цены.

у меня есть последняя переписка с партнером в скайпе.... говорит людям зарплаты по 200 штук уже платить нада а где брать им работу хз.

(90) я не 1С ты ничего не должен делать клиенту. все делаю я по той части что касается программ. это просто 20 процентов подарка без капли обязательтств.

разве что только ты там сам ему не навешаешь платные услуги за все что ты перечислил.

и нафиг загрузку. ты мегу за 150 предлагай!

загрузка это скучно

(95) зачем ему мегу за 150, кода у клиента основных поставщиков максимум пять, я ему свою загрузку сделаю по 10 тыр для каждого

а учитывая  что у клиентов запросы одни и те же, я эти загрузки еще не раз продам, какая выгода от продажи твоих загрузок?

(97) хз как тебе обьяснить программисту чт о причем тут сколько поставщиков. пять 10- или 100. ну да когда 100 до за...еп настраивать еще все надо.
и причем тут "ему". я тебе вообще говорю. у тебя что один клиент? тогда нафиг. Просто есть программисты которые на 10 шабашат и еще новых находят.

а ну все. чо я вообще время теряю. давай))

Когда ты ему сделаешь) он потратит 50 тысячс на пять прайсов. потом ты пропадешь через гож, так как ты ему ужене нужен будешь. а бесплатно ты явно не захочешь с ним задерживаться.
И поддержка явно будет дорогая.
А потом 1С выпустит обновления, все поломается. обработки перестанут работать. вот там он все равно ко мне прийдет и будет счастливы и думать. и чо я раньше не нашел.
А я ему скажу. да нашли бы) Ваш кодер знал что я есть)

(100) давай удачи, мой запрос хотел посмотреть, скину на днях

Просто понятн овсе заработать хотят. А у нас дешевле) и с бесконечной поддержкой.

(101) Я уже лет двадцать работаю с клиентами, пока ни кого не кинул

а вообще молодец! за каждый прайс по 10 тысяч. нормуль.
пора мне цены поднимать.

это позхвально. нормально оцениваешь. каждый прайс десятка. правильно.

(106) а то, зачем твой продавать за 20 тыр с маржой всего лишь в 20%

Молодец! Я думаю ты все за десятку делаешь. а если каждый  то красавчик!

думал.

Много я вариантов чтения экселя видел и пользовал, но уже и не помню, на чем сваял чтение файлов с проходной. Эта реально быстро летала, собственно, месяц бился, добиваясь нормальной скорости, т.к. там файлы просто огромные.

Ты меня вдохновил. я только что ценник поднял до 35

вспомнилось "кин дза дза", без гравицапы пепелац моежет летать только так, а с гравицапой, хуяк и в любую точку вселенной!

(111) есть кривая спроса и предложения, то что ты поднял ценник покажет только время

(113) я поднял потому что сейчас один хрен спроса НЕТ! а когда его нет то цена уже не играет значения)
кому нужен будет вункционал это смешные деньги.

или ты думаешь у меня тут как горячие пирожки? их уже давно нет. на новых клиентах. бизнесов новых не возникает. а всем уже загрузки эти понаделали какие угодно.
так что ценник это фигня.

а я вон вообще он на бирже сижу. пока с тобой болтали плюс 300 баксов.

я загрузку сейчас 1 раз в месяц продаю. ну 2-3 в лучшем случае.

он даже на ИС отчет смотрел публичный. там у них типа топовая загрузка всего 10 продаж по 5 тысяч в месяц. Даже на огромном ИС уже топы просто ниже плинтуса упали в продажах.

а что такое 10 продаж по 5 тысяч... еще ИС забирет 40 процентов. вообще ничто. Ка кя 1 раз продал и столько же заработал.

А если два раза то все равно что ему надо 20 клиентов найти!!!
Разница огромнейшая. Искать 20 клиентов сейчас нереально!

тьфу даже если не скать, а чтобы они сами находились новые. нету такого потока сейчас новых клиентов.
Хоть тресни.

все кто дешево продают просто сами вымрут скоро. или забросят. потому что дешевкой исчерпали клиентов. а потоку новых взяться не откуда.
Но с дешевыми куча геммора и суппорта. сто процентво кто то отпадает!
И те кто отпадают даже если разовые приходят на более дорогое но уже качественное решение.
А тут я их и подбираю по нескольким штук.
Сегодня мегу ставил у клиента, смотрю а там дешевка юнипрайс в конфиге. Причем уже не первый такой.

на ИС уже дочерта программ с датой последнего обновления 2-3-5 лет.
И эти тоже такие же станут.

(117) это поэтому ты такой нервный нынче?

Я нервный потому что лето закончилось)) а сейчас недосып) работаю сижу. новое делаю.

(65) а чем закончилась твоя инициатива создать ресурс по продаже чужих решений (а/ля ИС)?

(117) На ИС бы продавал в десятки раз больше

(110) https://infostart.ru/public/121241/ (Чтец электронных таблиц), там все варианты

(118) У тебя же лучше, чем топовая на ИС

(116) а завтра -1000 баксов, ггг

(127) я чо дурак - 40 процентов отдавать за просто так. там еще и сам за рекламу заплати.
Так мало того - еще в твоей публикации под ней будет 100 аналогов.

(131) ну если аналоги есть, то грош цена твоей ноу-хау

ИС ничем не лучше а даже хуже чем поисковые системы. Так зачем спрашивается на ИС публиковать, когда интернет делает эту всю работу.
Лучше уже за рекламу директу оплачивать. Дешевле выйдет чем комиссия ИС.

(110) прости, а там что, файлы в Экселе были (с проходной-то)? ггг

(132) в большинстве случаев на ИС покупатели сами программисты, а не тот контингент с которым я работаю.

корпоративные заказчики туда не лазят, только мелочевка. а у них там свои потребности.
Я недавно  набрел на 3 человек которые обсуждали одну прогу с ИС. так они просто исполнители. Им чем дешевле тем лучше, потому что они сами с заказчиков потом маржу имеют за конечную работу - наполнение базы.
типа (0)

(128) и ни один не рабочий))

(137) не обесценивай. там кстати, нет модного чтения через ТабличныйДокумент, но это старая статья

(138) ну ты написал дословно "там все варианты".
А уже и табличного нет... а я тебе говорю - у тебя там вообще ничего нет. оно не рабочее.

Ты про клиент-серверные базы слышал? линукс? того что офиса вообще может НЕ БЫТЬ

(138) оно не модное. а самое обыкновенное. но при этом может не читать половину файлов, особенно старого формата.
Плюс большие проблемы с книгами.

(140) > линукс
И зачем нам нищие клиенты, у которых нет денег на windows?

(131) Так у тебя лучшее решение. Это же хорошо, когда под твоим решением куча говна