Добрый вечер.  Уважаемые, сталкивался ли кто-нибудь с проблемой, когда обработкой формируется очень большие таблицы в табДок на форме, и при попытке сохранить штатными средствами это в ексель таблицу - платформа долго висит, пока не валится с нехваткой памяти (база серверная).
Понятное дело, что негоже такие огромные массивы данных давать 1ске кушать, но там холдинг, у них с этим все плохо.  Вопрос - есть ли разница в том, попытается ли платформа сама штатными средствами сохранить табличный документ в ексель, или же сделать кнопочку и прописать код, который сохранит ту же таблицу в ексель? Может есть какие-то настройки для более оптимальной работы с памяти при записи файла? Как вообще посоветуете оптимизировать этот процесс? только лишь разделением одной большой мегатаблицы на несколько файлов?

Платформа валится с ошибкой не потому, что база серверная

а я же этого не говорила. валится потому, что не хватает памяти для обработки процесса

Мало того. Когда все же удастся выгрузить , выяснится , что потребитель этот файл либо не сможет открыть, либо он будет так тормозить, что работать с ним будет невозможно.

начни с того, что поставь на клиента 64-бит клиента. Но вряд ли это спасет. В том числе, что 1С такое число строк и столбцов может и переварит, а вот эксель может и не смочь.

(0) Для каких целей нужна эта "портянка"? Для дальнейшего анализа? Выгружайте в БД: DBF, SQL и т.п.

Если они будут все же упорствовать, возьми комп помощнее, на нем оставь выгрузку на ночь. Если выгрузится дай им этот файл. Я специально под таких фруктов держал комп на котором огромные сборки САПР делал. Но потом они все равно будут не довольны, типа мы его открыть не можем. И лишь тогда, после этого предложи им след вариант. Ты выгружаешь в формат mxl, они у себя устанавливают плагин для чтения этого формата в ексель. Открыть его они откроют, а вот дальше пусть сами с такими файлами работают.

(0) CSV предлагали? ггг..
Можно в HTML также выгружать, Excel его норм кушаит.
Или в XML Вроде тоже можно.

(0) Да, именно при передаче с клиента на сервер такое было на голой БСП. Есть ограничение в 4Гб, разрядность никак не влияет.
https://its.1c.ru/db/v8315doc#bookmark:dev:TI000002045

(0) ни разрядности, ни версии платформы, ничего! Как вы так вопросы задаете?
Сколько строк в отчете? Вы уверены, что вообще эта выгрузка возможна?

(8) вот это то, что нужно, спасибо! как раз речи были, что 1ска висит до тех пор, пока не разрастется по памяти в диспетчере задач до 4г гигов и валится. видимо данные собираются в нужном виде, для отправки на сервер (сохранение в ексель же на сервере происходит, это же типа ком объект, или я заблуждаюсь?) и когда он понимает, что слишком много уже, больше квоты для отправки, то грохает процесс.

предложу сохранить в альтернативный вариант, типа Html или mxl, их уже можно в ексель, если 1с справится
.

(9) 8.3.14.2032, разрядность х64, строк там около миллиона-двух. Они вручную делят на файлы по 200-300 тыщ строк в одном екселе и это работает. Хотят чтобы за одну итерацию все в один файл выгружалось.
Я не уверена, что она возможна)

(5) а если писать в sql данные за 1 итерацию, по идее объем данных такой же будет на сервер отправляться разово, или трудозатраты другие при работе с sql

(9) есть какие-то рекомендации по максимальному количеству строк, выше которого не желательно писать в 1 файл?

(10) Как с клиента на сервер - не знаю у вас реализовано. У нас печатная не выводилась на клиент, типовой механизм БСП работает так:
- формировался табличный документ с печатной формой на сервере;
- вызывался метод на сервере "ПоместитьВоВременноеХранилище()" и туда помещался табличный документ под 9Гб;
- начиналась передача с сервера на клиент и выходила ошибка: "Неспецифицированная ошибка работы с ресурсом. Ошибка при выполнении запроса POST к ресурсу /e1cib/logForm: Недостаточно свободной памяти для выполнения операции".

По-моему, если это выполнять на сервере, то ошибка не выходила.

на ис есть методика обхода проблемы. в поиск

Формируй файл нативно. Если потом еще и на клиент это дело передавать надо, то разбивай, передавай и потом обратно склеивай.

Выгружай в DBF, DBF открывается Exсel

(10) Можно и csv, к примеру. Csv можно писать последовательно, 1 млн. строк тут не предел. В Excel с помощью Power Query можно импортировать файлы с более чем 1 млн. строк. Кстати, можно импортировать через OData, но хз как это с 1С будет работать.

(0) Были обработки, которые большой ТабДок выгружали в несколько xls по заданию макс. кол-ва строк

+(19) ещё для 7.7

(0) сохраняй в XLSX

(21) Месье понимает толк в извращениях :)
Самое дельное замечание.

(0) Позовите специалиста

(21) Не поможет https://support.office.com/ru-ru/article/технические-характеристики-и-ограничения-excel-1672b34d-7043-467e-8e27-269d656771c3

(24) с учетом "строк там около миллиона-двух"

(25)
"
строк там около миллиона-двух. Они вручную делят на файлы по 200-300 тыщ строк в одном екселе и это работает. Хотят чтобы за одну итерацию все в один файл выгружалось.
"

размытые вводные, которые я могу интерпретировать как хочу :)
до миллиона строк я лично выгружал для аналитиков в XLSX.
формат XLS поддерживает по-моему до 65535 строк и само сохранение на объемах гарантировано виснет и по-моему не зависит от памяти и такого прочего - просто криво реализовано.

думаю, надо включить софт-скилы и поговорить с заказчиками - может там и не все нужно выгружать и можно поделить строки и т.п.
если ничего не поможет, то нужно писать обработку, которая сформирует и сохранит массив данных в другом формате, открываемом в excel.

(12) Там другие трудозатраты.

+27  Можешь разбить информацию по пакетам (например, 500 инсертов в одном пакете).

(11) Надо спрашивать не что хочет пользователь, а что ему надо в итоге получить.

Одни впихивают зачем то миллионы строк в Excel. Другие потом мудохаются, доставая эти миллионы строк из Excel. Все при деле и все получают зарплату. Экономика.
Писать в CSV надо.

(30) +и не пытаться открывать такие файлы в экселе, не зависимо от формата

У нас как-то налоговая запросила продажи в разрезе товаров. Тоже уперлись в миллион строк в Екселе :) Разбивали на более мелкие файлы. Даже не представляю, что они с ними сделать смогут. Откроют и закроют, разве что.

(30) имхо дело в консерватизме... используют инструменты к которым привыкли...
кто-то в экселе хорошо шарит и поэтому все данные крутит в экселе, вместо того чтобы запросить отчет в учетной системе...
так было и так будет.

п.с.
естественно ИСХОДНУЮ задачу в (0) можно решить правильнее и оптимальнее,
но это может потребовать перестройку процессов в компании :)

Что, только люди не придумают, вместо того, чтобы решить проблему правильно...

(33) Согласен. Я в налоговую отчеты только в бумаге сдаю. Я просто хорошо знаю, как работают эти ваши ИТ.

Энтернет - это что. Его 20 лет назад и не было вовсе. Хренак, и ИТ безопасность пошла по бюджетной сфере и где ваша декларация? А вот бумага - это тысячелетия истории, это надежно.

вместо бумаги блокчейн же

что записано в блокчейн - то не вырубишь топором

(36) бумага это та которую крысы едят, потоп топит и пожар жгет, иногда даже неслучайно?

(39) Всегда есть отметка о приемке.

(40) на горючей бумаге

(35) Ага, и написаны они от руки :) Чтобы FineReader не распознал.

(38) Топор очень хорошо справляется с серверным оборудованием, так что не согласен - вырубить можно.

(11) если я правильно помню, то у экселя ограничение в миллион строк (ну чуть больше)

(44) От версии зависи

(45) ну это максимальный, понятно что у старых меньше
https://support.office.com/ru-ru/article/технические-характеристики-и-ограничения-excel-1672b34d-7043-467e-8e27-269d656771c3

сохранить в mxl
сконвертить в xlsb
профит.

(39) А в "электронном виде" (при тех же условиях) всё будет, как "живое"?

(43) (48)
"Чаще всего копии цепочек блоков хранятся на множестве разных компьютеров независимо друг от друга. Это делает крайне затруднительным внесение изменений в информацию, уже включённую в блоки"
https://ru.wikipedia.org/wiki/Блокчейн

фишка блокчейна в том что центрального узла\сервера нет,
т.е. к примеру инфо дублируется на сервере в налоговой и у всех налогоплательщиков.
по похожему принципу построены электронные валюты, из-за чего их недолюбливают государственные органы,
т.к. там просто так не выпустишь эл.валюты сколько захочешь, транзакции пишутся и видны всем, единого центра контроля нет и т.п.

(49) Ключевое "Чаще всего".
Плюс - не стоит забывать о вирусах. Они-то, как раз, очень любят "цепочки".
Еще один плюс - слив инфы. Напоминать про сбер, думаю, не стоит.
Ну, и на закуску: старая русская поговорка - без бумажки ты ..., а с бумажкой человек - еще никто не отменял. И долго еще не отменят.

А по поводу транзакций: как "теряются" платежи в банках, выводятся деньги в оффшоры и пр., если транзакции пишутся?
Для себя давно решила (и пока отступать не думаю): на каждый платеж - квитанция (онлайн), договоры и серьезные справки - хранить в бум. виде.

(0) Я один не догоняю, зачем вот это вот ФсЁ - "Они вручную делят на файлы по 200-300 тыщ строк в одном екселе и это работает." ???

1 048 576 строк максимум
Что за задача, что требует 1-2 млн строк сырых данных в Экселе? BIG DATA?

(52) В кровавом интерпрайзе и не такое бывает. Есть дополнения к Екселю, которые тянут до 100 миллионов строк и достаточно широко используются. Это самый дешевый способ "общупать" сырые данные имея просто опытного аналитика, который умеет в Excel.

Такое бывает когда начальство тупое и не понимает зачем на свете существуют программисты. Выполнение задачи поручают тупым манагерам, которые ничего не знают кроме Excel. Они еще месяц будут ваять вручную чота из этих миллионов строк, а потом из этих миллионов строк сделают табличку из 10 строк и покажут её в Power BI в виде красивого графика. Программисту там работы на час, а эти будут неделю ложиться костьми в шестером. Зато денег заработают.

(53) "имея просто опытного аналитика, который умеет в Excel" - вот от таких нужно избавляться в первую очередь!

(50) у вирусов при децентрализации на всех "ножичков не хватит", но понятно что при глобальном П. электронка не будучи забэкапленной на "жестком" носителе - исчезнет. но это в целом проблема сегодняшней цивилизации, от которой в случае Г.П. останутся только горы мусора.

в ближайшие десятилетия сознания людей будут переформатироваться в сторону того, что личные данные о них будут открыты и доступны.

(54) (55) это правда, но к сожалению менеджеры практически всегда некомпетентны в ИТ и не понимают какая сила в нем заложена.
если абстрагироваться от армии тунеядцев, то эксель в качестве просто формата для передать данные на посмотреть вполне применим. приходилось даже аналитикам мелкомягкой компании немного экселя отдавать :)

(56) Тем не менее, при глобальном армагеддоне у бумаги есть шанс, а вот у "цепочек" никаких. Даже при бэкапе на супер-пупер харде.
А еще лучше на камнях высекать :))))

(58) >>А еще лучше на камнях высекать :))))
Мойша был не фраер, заповеди на скрижалях высек.

хаха, вот это наболевшее, видимо) до сих пор ветка жива)

(49) Весь вопрос только в количестве денег, потребных для уничтожения всего оборудования, где есть копия данных. Про перо там сложнее все гораздо, т.к. эта информация еще и в памяти людей есть. Поэтому чтобы уничтожить все копии - надо надо самоубиться после уничтожения остальных людей.

Чему тут болеть, очередной обмен светит на 1,6 млн строк. И контрагент предлагает Ёксель. Я ему про cvs толкую, а у него уже сделано под мелких партнёров на ёкселе.

(60) чем история закончилась в итоге ? :)

(59)
Только похоже кроме Мойши никто и не видел первых скрижалей, а вторые возможно видели, но немногие древние евреи:

"Вторые скрижали и обломки первых, как самые великие драгоценности еврейского народа, хранились в Ковчеге Завета, который находился в Святая Святых. (Обломки первых скрижалей лежали в ковчеге под вторыми скрижалями). Предчувствуя разрушение Первого Иерусалимского Храма, царь Яшияу заблаговременно спрятал Ковчег Завета в глубоких подземных лабиринтах, подготовленными царем Шломо под фундаментом храмового помещения."

что равносильно тому, что история была давняя и информация передается из уст в уста специально обученными священниками.
на исходные данные наводятся человеческие искажения. в общем первоначальный документ возможно был, но это неточно.

(63)  ну сделала логику выгрузки в несколько файлов ексель по группам организаций) и работает.