Платформа: 8.3.12 64 бита.
Конфигурация: "пустая".
Есть: 16 файлов MXL размером 0,6-1,1 Гб. - данные о продажах по дням месяца (1 файл - 2 дня) некоей группы товаров некоего ритейлера.
Нужно: собрать данные и сохранить их в виде, доступном для дальнейшей обработки в Экселе.
Как делал: простенькая обработка:
- чтение файла MXL в табличный документ;
- формирование таблицы значений (обходом табличного документа);
- свертка таблицы значений;
- сохранение в CSV через ЗаписьТекста частями (ограничение Эксель на число строк).
Формирование таблицы значений примерно часов 12-14. Результирующая таблица примерно 11 400 000 строк.
Запись в CSV шла больше суток. 12 файлов примерно по 90 Мб.
Возможно, из-за того, что на сервере еще кое-что делалось.

90 МБ в цсв? Это какого радиуса руки надо иметь?

вот именно "сохранение в CSV через ЗаписьТекста" больше суток? это очень, очень странно. может все-таки будет код?

(2) +1
Проблема явно не в ЗаписьТекста.

(2) Процедура ЗаписатьТаблицуВФайлыCSV()
    разд = ";";
    числоСтрок = данные.Количество();
    запись = Новый ЗаписьТекста; часть = 1;
    имяФайла = Каталог+"\МАГНИТ_"+СТРОКА(часть)+".CSV";
    запись.Открыть(имяФайла, КодировкаТекста.ANSI); записано = 0;
    конСтрока =  данные.Количество();
    ЭлементыФормы.Индикатор.МаксимальноеЗначение = конСтрока/1000;
    Индикатор = 0;

    ДЛЯ инд = 1 ПО конСтрока Цикл
        Если инд=Цел(инд/1000)*1000 Тогда Индикатор = Индикатор + 1; КонецЕсли;
        Если записано>=числоСтрокCSV Тогда
            запись.Закрыть();
            часть = часть + 1;
            имяФайла = Каталог+имяСети+СТРОКА(часть)+".CSV";
            запись.Открыть(имяФайла, КодировкаТекста.ANSI); записано = 0;
        КонецЕсли;
        текСтр = данные.Получить(инд-1);
        стр = текСтр.Номенклатура+разд+текСтр.Магазин+разд+текСтр.кодПодразделения+разд+текСтр.Количество+разд+текСтр.Сумма+разд;
        запись.ЗаписатьСтроку(стр);
        записано = записано + 1;
    КонецЦикла;
    запись.Закрыть();
КонецПроцедуры

текСтр.ХХХ - это строки?

текСтр = данные.Получить(инд-1);

тут трабла. может выполняться очень долго в большой таблице

(5) Да, это строка таблицы значений.

(6) А как иначе?

Сын из слов отца, купившего Ладу Калину, знал только слово "колотить"...

(8) индексирование нужно по таблице. и поиск по индексу. так быстрее

(10) +  либо алгоритм переделать. не перебирать числа и по числам искать строки , а сразу перебирать строки

(7) я про тип значения колонок

ну и вместо конкатенации через плюс лучше делать ЗаписьТекста.Записать а последним куском ЗаписатьСтроку()

(10) Не понял, какой поиск по индексу: номер строки - переменная цикла.
(11) Никакие строки не ищу: получаю строку по номеру.
Или я чего-то не понимаю?
(12) Типы значения колонок - строка.
(13) Принято.

и индикатор обновляй раз в 1000 строк, а не каждую строку... сразу не увидел, блин

(0) сохранение в CSV через ЗаписьТекста частями (ограничение Эксель на число строк). - Поставь нормальную версию Эксель. Там нет никаких ограничений. Открывай файл MXL и сохраняй как XLS.

инд=Цел(инд/1000)*1000
->
инд % 1000 = 0

(14) получение строки по номеру тот же поиск .

(17)+ блин, кто так пишет, да еще и в одну строку. чтобы глаза сломать?

(18) не совсем. но замер производительности ответил бы на многие вопросы.

(18)Зачем он вообще здесь нужен? Для каждого Текстрока из данные нельзя?

(20)да

(6) Ага.
Попробуйте вместо таблицы значений использовать Массив + Структура (значение каждого элемента).
http://catalog.mista.ru/public/79285/
Здесь сравнение некоторых универсальных коллекций по скорости

(14) блин, а сделать замер нельзя? Сразу будет видно какая из 3х строк тормозит

(23) а сворачивать данные ты как будешь? кодом?

(13) Вместо конкатенации записывать каждое значение и записывать разделитель?
(15) Индикатор обновляется для каждой 1000. (17) Принято.
(16) 2^20
(21) Принято.
(23) Заполнение таблицы гораздо быстрее записи в CSV. Нужно делать свертку по магазинам и товарам.

(24) Вот и спрашиваю: запись 1 000 000 строк CSV - 2,5-3 часа это нормально или нет?
Может причина в занятости диска (SSD).
К сожалению, не могу запустить в "одиночестве" на сервере.

кстати, можно попробовать вместо ЗаписьТекста ТекствыйДокумент

(28) не, там точно тормознее

(26) Что значит 2^20?

(29) ну тут хз. может записьтекста в диск срет каждый "записать". Хотя по моим ощущениям самый быстрый - это ЗаписьXML и ЗаписатьБезОбработки

в любом случае без замеров можно долго гадать

(26) Ограничение на число строк на листе в Эксель.

может строку сформировать большую через массив, а потом ее разом записать?

(34) создание строк через + тормозит, особенно больших. проведи эксперимент, попробуй сделать строку из миллиона пробелов через "+"

(35) читай внимательно: через массив

(33) И вы не проходите по этим ограничениям? Жуть какая...
Что именно хотите анализировать потом в Excel?

Для подобных объемов я бы сделал так:
на SQL накидал бы БД нужной  структуры. Грузил бы данные туда. Такие объемы - это уже сфера деятельности систем управления базами данных. Excel не является системой управления БД. Да, Excel умеет кое-что делать с БД, но это для небольших объемов.  Для ваших объемов нужно что-то солиднее.

(0) > формирование таблицы значений (обходом табличного документа)

Для построителя запроса можно в качестве источника данных задать область ячеек табличного документа

(27) 1 млн строк - 25 сек вместе с запросом на ноутбуке:

    Запрос = Новый Запрос;
    Запрос.Текст =
    "ВЫБРАТЬ
    |    Банки.Код,
    |    Банки.Наименование
    |ИЗ
    |    Справочник.Банки КАК Банки";
    
    РезультатЗапроса = Запрос.Выполнить();
    
    Выборка= РезультатЗапроса.Выбрать();
    
    разд = ";";
    имяФайла = ПолучитьИмяВременногоФайла(".CSV");
    запись = Новый ЗаписьТекста;
    запись.Открыть(имяФайла, КодировкаТекста.ANSI);
    Циклов = Цел(1000000/Выборка.Количество()) + 1;
    ДЛЯ инд = 1 ПО Циклов Цикл
        Сообщить(""+инд+" из "+Циклов+ "    "+ТекущаяДата());
        Выборка.Сбросить();
        
        Пока Выборка.Следующий() Цикл
            стр = Выборка.Код+разд+Выборка.Наименование+разд;
            запись.ЗаписатьСтроку(стр);
        КонецЦикла;
    КонецЦикла;
    запись.Закрыть();

+(39) сделай уже замер

(36) а превращать массив в строку ты хочешь через значениевстроку внутр и стрзаменить? это немного быстрее (и то не всегда), но для доработки плохо. Ну и в любой момент может сломаться (с обновлением платформы)

(41) СтрСоединить()

(37) Есть вариант с БД. Пока речь не о этом.
(39) Могу предположить, что дело, скорее всего, в занятости дисковой системы. Может и ошибаюсь.
(40) Попробую на меньшем объеме.
Спасибо всем ответившим. Тему можно считать закрытой.

(42) а, ну да. раньше такого не было. тут надо, опять же, измерять.

+(39) замер:  
стр = Выборка.Код+разд+Выборка.Наименование+разд;    1 000 186    5,893370 сек    38,32%
запись.ЗаписатьСтроку(стр);    1 000 185    3,608695 сек        23,46%
Сообщить(""+инд+" из "+Циклов+ "    "+ТекущаяДата());    394    2,565977 сек        16,68%

(27) под словом "запись" что понимаешь? время записи файла или время работы кода?
в (39) показали что это все делается быстро, и отличие от твоего кода только  в том что перебирается сразу выборка, а не счетчик строк.

(45) а записать(Выборка.Код) + записать(разд) + записать(Выборка.Наименование) + записатьСтроку(разд)?

(47) тормознее выходит:
стр = Выборка.Код+разд+Выборка.Наименование+разд;    1 000 185    6,060703    сек    22,90    %
запись.записать(Выборка.Наименование);    1 000 185    4,467721    сек    16,88    %
запись.записать(Выборка.Код);    1 000 185    3,915113    сек    14,79    %
запись.ЗаписатьСтроку(стр);    1 000 185    3,724216    сек    14,07    %
запись.записатьСтроку(разд);    1 000 185    2,728079    сек    10,31    %
запись.записать(разд);    1 000 185    2,374590    сек    8,97    %

а в procmon можешь глянуть, оно на каждый Записать() диск дергает?

ну и да, может проще делать ЗаписьXML.ЗаписатьБезОбработки() в память, а потом одним махом закинуть на диск.

ну или с потоками покрутить что-нибудь (я потоки "от 1с" даже не смотрел ибо сделано через жопу)

+(48)  
конкатенация + 1 записатьстроку - 37%
3 записать + 1 записатьстроку - 51%

Соотношение, наверное, от диска будет зависеть

(52)  у тебя конкатенаций меньше

ну и записать() тоже.

(49) в (48) 5 млн записей, даже ссд столько не обработает за 15 секунд

(53) так по идее ещё хуже будет

ну да. и стрингбилдера нормального в 1с нету :(

(57) ну так массив же

(49) посмотрел монитором пишет в течении всего времени 2-3мБ/сек, а сколько там обращений хз

(58) ну это не то. https://habr.com/post/172689/

(60) именно оно и есть. массив = СтрСоединить().

(0)нафиг такое делать в 1с вообще? тяп ляп на delphi или C# и готова. час-два работы.

(62) Как файлы XML читать? Да и "языками я, Петька, не владею".

(62) распарсить mxl?

(63) Замер! Замер! Замер!

Записать + ЗаписатьСтроку: 3 990
ЗаписатьСтроку: 3 561
ЗаписатьСтроку (Инлайн): 3 224
ЗаписатьXML: 5 958
ЗаписатьXML (Инлайн): 4 105

https://gist.github.com/FragsterAt/9a314aeb5edbbe365b08c7c26e5b0b7a

а где через массив?

(68) "Сделай" (с) ВР

СтрСоединить + ЗаписатьСтроку: 7 503
ЗаписатьСтроку: 3 576
ЗаписатьСтроку (Инлайн): 3 526

(66) Вывод один ЗаписьТекста - рабочий инструмент, не требующий альтернатив.
(70) ТекстовыйДокумент попробуй, наверняка на порядок меделеннее

(65) В следующий раз. Наверное, через месяц.

(71).1 ну да, если в память не надо получить ничего

(63) "языками я, Петька, не владею"
дай студенту-программисту на пиво и вопрос решен

кстати, никто не сказал, что формирование /csv у автора неправильное и если в строках будет встречаться разделитель или перенос строки - получится очень интересная ошибка

ну и еще есть тектсовый драйвер odbc, который как раз /csv позволяет читать/писать

(62) Обожаю такие комменты. ))

(72) прогони тысячу строк и ты узнаешь где косяк. Никто тебе не предлагает замер на 12 часов делать.

(77) скажи еще, что я не прав

(79) лучше на С

Ничего, что автор пишет файл по сети?

(80) нет лучше на 1с месяц решать проблему. Потом заказчик еще скажет "а чо у меня книга полчаса открывается, мы так не договаривались"

(74)(79) Если ты не готов решать эту задачу за пиво, то однозначно не прав

(81) ГДЕ?

(81) Откуда инфа?

(84)
имяФайла = Каталог+имяСети+СТРОКА(часть)+".CSV";

Или тут ИмяСети - это имя сетевого магазина наверное.

Отбой

(86) "сеть" - это Магнит или Ашан

(81) проверил по сети:
запись.ЗаписатьСтроку(стр);    1 125 576 строк    15,243661 сек

Сколько платят за решение?
Продажи,наверное,сначала нужно свернуть,а потом результат в ексель.
не верю,что все тае долго считается!!!
конечно,если компьютер взяли из музея напрокат,то все может быть.

(83) Я конечно не буду это делать за пиво. Или бесплатно или за деньги :) Задача плёвая, если делать не на 1с.

Только надо сначала попробовать будут ли в Excel открываться эти файлы. Было дело в 200000 строк файл открывается - хрен дождешься, а потом еще с ним чота делать надо. Может идея грузить в Excel изначально неверная.

(92) Возможно это так, но имхаю, что раз автор добрался до сюда, то все-таки нужен именно excel. Скорее всего там отдельная учетная система на базе Excel, с макросами.

(93) ну авторы обычно сообщают, что конкретно было нужно, после 200 поста.

(94) В (0) вроде бы все сказано:
- формат входных файлов MXL;
- данные (по дням) свернуть;
- выгрузить в Эксель.
Т.к. в некоторых случаях в Эксель невозможно, была согласована выгрузка частями в CSV (уже по моей инициативе).
(91) Готов дать координаты заказчика. Письмо на мыло (в профиле). Эта задача, насколько я понимаю, частная. Может быть гораздо более объемный проект.

(0) Я такую задачку сделал на скд:

    ПроцессорВывода = Новый ПроцессорВыводаРезультатаКомпоновкиДанныхВТабличныйДокумент;
    ПроцессорВывода.УстановитьДокумент(Результат);
    ПроцессорВывода.Вывести(ПроцессорКомпоновки);
    Результат.Записать(ИмяФайла, ТипФайлаТабличногоДокумента.TXT);

В итоге файл построчно писался 17 часов, с помощью процессора вывода 5 минут

(96) Спасибо, попробую.

(95) ё маё!!! :) я MXL с XML перепутал :)

но координаты возьму

(98) )) (64) видел?

(97) сделай (78) уже

(98) Не подкачал, бггг. =))

Как то "сводил" сишника и одинэсника, которых хорошо знал по-отдельности, по такой же плевой задаче, на первый взгляд, потом нахватал "минусов" к карме от обоих, и с обоими впоследствии в течение нескольких лет перестал общаться.

(103) ты слишком серьёзно относишься к жизни. а задача всё равно плёвая.

+(104) нормальные люди из за такой ерунды не перестают общаться

(103) кинул с оплатой?