Добрый день коллеги, пытаюсь с помощью многопоточности ускорить обработку таблицы значений, но встал вопрос как эту таблицу передать в фоновое задание, через параметры если передавать, то пожирается гигов 30 памяти на сервере 1С и повисает, запуска самих заданий не дождался, есть какие идеи?

В файл выгружай

(1) там наверно ключевое "ускорить обработку "

база на скуле?

такую таблицу проще затолкать в таблицу скуля и обработать там, если она на куски не рубится

(1) а мысль :)

(3) кстати, вариант...

(0) И кто только придумал эту ересь - передавать огромные ТЗ в параметры фонового задания. Распараллеливают они, ппц

Лучше придумать другой алгоритм "диспетчерзиации" задач между запущенными заданиями. Так, чтобы не требовалось гонять половину базы в оперативной памяти (а это и происходит при передаче параметров фонового задания).

И ещё кстати... Почему не заставить РЗ самому получить эти 12 лямов строк?

(3) Этот вариант оч. долго согласовывать, и скорее всего не одобрят, плюс доступы на SQL выпрашивать. И не совсем понятно как объектные сущности в таблице значений разложить в таблице SQL много шаманства по моему будет

(8) "Этот вариант оч. долго согласовывать"
Беги оттуда

(8) формально он у тебя есть - ты же в базу ходишь как-то

(7) + резонный вопрос, откуда она взялась, такая табличка.

>И не совсем понятно как объектные сущности в таблице значений разложить в таблице SQL много шаманства по моему будет

мы не в курсе накой черт тебе 12 лямов записей

(12) Мне они не нужны, табличка из типового проведение себестоимости УПП (РАУЗ)

(7) Если РЗ=ФЗ, то думал об этом, но к сожалению в моей задаче это не сработает

(0) Изначально не выносить с сервера на клиент

(15) Передается из одной процедуры выполняемом в серверном общем модуле, в фоновое задание, которое то же на сервере выполняется.

а что именно запускается в несколько потоков?

(16) Сериализация-десериализация ТЗ способны устроить кошмар любой системе.

Как эта ТЗ формируется? Очень сложно?

(8) Добавь свой регистр сведений - будет как ТЗ.

>Как эта ТЗ формируется? Очень сложно?

запускают чего-то типа расчет себестоимости - и привет

тз ->хз. можно еще попробовать хз в строку внутреннюю.

либо тз с хз и в временный файл.

(22) Хреновое решение.

где ТС? что распараллеливается то?

было не так давно в одной отраслевой упп...

модуль проведение документа.

внутри два цикла, один в другой вложен

внутри 2-го обход ТЧ и набивание ТЗ построчно...

теперь простая арифметика:

ТЧ = 1000 строк

и каждый счетчик циклов по 100 итераций

ТЗ = 10 000 000 строк

клиент "думает" до 2 Гб и падает

(25) Огласи чемпиона.

что делает клиент? звонит во франь, консультант франя заходит по rdp на сервак и (о чудо!) проводит документ. За 10 минут. Сервак 64-бит. А значит 3,5 Гб на клиента скребя ложкой по дну ему хватает.

какой вывод сделал франь?

купите 64-бит сервер 1с...

(27) так куплен же. что еще покупать?

(28) так дело в том, зайка моя, что от него толку в (25, 27) будет 0 без переписывания кода...

у тебя то сервер падает

(17) Запись движений в базу (сколько строк столько и движений)  :)

+(31) движений=записей в регистр накопления

(0) а нельзя эту ТЗ прямо внутри фонового генерить?

+(33) например, в фоновое передавать только организацию, подразделение и там группу какой-нить номенклатуры, а таблицу оборотов (предположим, что речь про обороты) получать из базы уже там

(33) нет, так как запрос делается по движениям в базе, которые потом либо меняются либо удаляются (после запроса), если один фон начнет менять движения, а второй начнет их только читать перед подготовкой ТЗ, то в итоге они будут работать с разными таблицами значений

(35) Пусть фоны читают ТЗ и ждут, пока все флаги в служебном регистре сведений не установятся в "Можно писать"

ДЛЯ ИЗМЕНЕНИЯ не годится в этом случае?

(37) управляемый режим давно уже включен, "ДЛЯ ИЗМЕНЕНИЯ" игнорится, наверное можно управляемую блокировку установить, только по таймауту тож легко вылететь
(36) Наверное в регистр в ресурс с типом ХранилищеЗначения проще положить саму табличку, спасиб за идею с регистром, ща буду пробовать

(38) Нет, не проще.

(38) При положении в ХЗ пойдет сериализация в XDTO + кодирование в base64, которое, я боюсь, выполнено через опу..

При извлечении из ХЗ пойдет обратный процесс.

(36) почему флаги, а не блокировки?

(41) На тот невероятный случай, когда один процесс прочтет и запишет данные раньше, чем запустится другой процесс.

(42) Мало ли.

21-й век на дворе, а все возитесь с таблицами значений?
Пригласите специалиста...

(44) А специалист с чем будет возиться?

(29) нет, зачем франч предложил купить 64бит сервер, если он уже есть? на который консультант зашел через рдп.

(41) Пишется и читается вне транзакции, блокировки вообще не сработают, плюс (если делать в транзакции) большая вероятность таймаута

"Пишется и читается вне транзакции"

Это ты так думаешь.

(31) распараллеливается запись одного набора?
и в наборе 12 миллионов строк?

что-то я не очень понял...

странно что все пытаются придумать что делать с тз, вместо того, чтобы удостовериться в том, что в принципе выбрана правильная методика решения задачи.

(49) Я думаю -там регистраторов по числу потоков.

(0) накой черт тебе 12 лямов записей?

(50) тогда почему нельзя приготовить отдельные наборы с меньшим числом записей на базе этой таблицы, и передавать уже их?

(35) разбей данные на не пересекающиеся куски и читай-пиши, сколько угодно и когда угодно

Короче, вот тут описано, как это (0) надо делать
http://infostart.ru/public/191786/
map/reduce в чистом виде. Иначе ни какого ускорения не получится и вся параллельность будет валиться на блокировках

(51) Мне то они не нужны, типовой расчет себестоимости в упп 1.3, по методологии расчета вопрос тож не ко мне, не я ее утверждал.

(40) XDTO тут не причем, это другая сериализация)

(40) Да, не получилось в ХранилищеЗначения в рег. сведений поместить, 200 тыс. записей легко прошли сек. за 20, а на 5 млн отвалилось по ошибке потока (

+(57) через 15 минут отвалилось

(56) Проверял?

(58) Вы пытаетесь сделать какое-то "еврейское" распараллеливание - думаю, что ничего у Вас не выйдет. Предполагаемая модель для распределения задач по "потокам" - убога и нежизнеспособна.
Вместо того, чтобы пытаться с помощью "молотка и такой-то матери" как-то передать ТЗ "потоку" - гораздо перспективней будет подойти к вопросу с другой стороны.
Проанализировать алгоритм, определить на какие атомарные операции его можно разбить - и уже от этого "плясать"

(59) Угумс. Типы, не имеющие XDTO-сериализации - прекрасно помещаются в хранилище значения. Есть и обратные примеры - когда тип помещается в хранилище, но не имеет XDTO-сериализации.

Исследования методом "научного тыка" показали, что, помещение в хранилище значения - эквивалентно ЗначениеВСтрокуВнутр(), а не XDTO-сериализации.

(60) Все такие умные, что ППЦ.

Ну, разбей хотя бы алгоритм удаления движений по нескольку регистров на поток - заипешься код писать, а потом (самое главное) ошибки ловить. Это примитив.

А мы тут про расчет себестоимости.

+(61) Обратные примеры - когда тип имеет XDTO-сериализацию, но в хранилище значения не помещается. Очепятался

(61) ТЗ имеет XDTO сериализацию.

(62) Многопоточность это вообще сложно.
(64) И что? Есть типы, которые ее не имеют - но в хранилище помещаются. И наоборот, есть типы которые не помещаются в хранилище, но пишутся в XDTO

(61)
Исследования методом "научного тыка" показали.

Что делалось?

(61) вроде как эту штуку пофиксили в 8.3

(66) Вкратце - перебирались почти все типы встроенного языка (вплоть до ОбъектМетаданных, ИсторияРаботыПользователей, РасширенноеИмяXML - и прочего безобразия).

Для каждого типа делалась попытка:
1. Поместить в хранилище значения
2. СериализаторXDTO.ЗаписатьXML
3. ЗначениеВСтрокуВнутр

Совпадение между 1 и 3 - 100%
Между 1 и 2 - сильно меньше

(68) Масштабно, епта.
Результаты опубликуй.

ТЗ В XDTO есть? Нет? А если найду?!

(69) Если найду - опубликую.
Еще выяснилось, что просто ЗаписатьXML() - который метод глобального контекста - тоже сильно разнится с СериализаторXDTO.ЗаписатьXML().

ТЗ в XDTO есть :) Но это не значит, что помещение в хранилище значения - есть XDTO

(70)
ЗаписатьXML() - который метод глобального контекста - тоже сильно разнится с СериализаторXDTO.ЗаписатьXML().

of course!

ЗаписатьXML() сериализует в XML
СериализаторXDTO.ЗаписатьXML() сериализует в XDTO

(71) Это имеет не очень не много смысла.
Подозреваю, что просто ЗаписатьXML() от 8.0 остался, пока XDTO не было.

(0) Я через  выгружал в текстовый файл и булками загружал во временную таблицу.
(71) Ты случайно с ЗаписатьXDTO  не путаешь?

(68) Дааа, ты чертовски прав..
1) Создал справочник с реквизитом ХЗ.
2) Выполнил код

    Запрос=Новый Запрос;
    Запрос.Текст=
    "ВЫБРАТЬ ПЕРВЫЕ 10
    |    Номенклатура.Ссылка,
    |    Номенклатура.Артикул,
    |    Номенклатура.Весовой
    |ИЗ
    |    Справочник.Номенклатура КАК Номенклатура";
    ТЗ=Запрос.Выполнить().Выгрузить();
    ЭтотОбъект.Реквизит1=Новый ХранилищеЗначения(ТЗ);
3) Записал.
4) В SQL -е этот реквизит (image поле) выгрузил в файл.
5) Там даже не в base64, а тупо текст.

{0,"Ссылка",
{"Pattern",
{"L"},
{"#",dd0e8719-5e55-43a0-944a-8321d4c46843}
},"Ссылка",25},
{1,"Артикул",
{"Pattern",
{"S",25,1},
{"L"}
},"Артикул",25},
{2,"Весовой",
{"Pattern",
{"B"},
{"L"}
},"Весовой",2}
},
{2,3,0,0,1,1,2,2,
{1,10,
{2,0,3,
{"#",dd0e8719-5e55-43a0-944a-8321d4c46843,124:8019001517615d5d11dfdff551bb732a},


Простите за кодировку, было лениво морочиться.

Это печально.

Млядские строки, неужели нельзя в ХЗ сохранять кусок памяти.

(76) Так там не один кусок памяти, а набор объектов (строки ТЗ, колонки) содержащих друг на друга, наверно. Может стоит указать объект СжатиеДанных?

(76) Кстати а как насчет использования ЗаписьFastInfoset

78 Типа такого
Функция ПоместитьОбъектВХранилище(Источник)
    ЗаписьXML = Новый ЗаписьFastInfoset;
    ЗаписьXML.УстановитьДвоичныеДанные();
    ЗаписьXML.ЗаписатьОбъявлениеXML();
    ЗаписатьXML(ЗаписьXML, Источник, НазначениеТипаXML.Явное);
    ДвоичныеДанные = ЗаписьXML.Закрыть();
    Возврат Новый ХранилищеЗначения(ДвоичныеДанные, Новый СжатиеДанных(9));
КонецФункции

(76) Вот тут я конечно тот еще басист - но что-то мне подсказывает, что если просто сохранять кусок памяти - то его потом будет оооочень сложно прочитать следующей версией, когда в плюсовом классе будет изменен состав членов.

Например, в той же Java - если сделать implements Serializable и не реализовывать свои writeObject и readObject - то именно так и получится. А если реализовывать writeObject и readObject - то это уже не будет "просто кусок памяти".

(79) Все равно будет строка.
В которую будут преобразованы двоичные данные :)

(74)
Вы забыли указать степень сжатия при создании хранилища.

(80) Сериализация разная бывает. Есть по аналогии с Базой Данных с разруливанием циклических ссылок. Например
https://ru.wikipedia.org/wiki/Protocol_Buffers

83+ Дождались JSONа от 1С

(83) protobuf, как и json - всего-лишь форматы. Ничего нового в такое понятие как сериализация они не приносят.

К тому же, даже из вашей ссылки на вики:

> По замыслу разработчиков сначала должна быть описана
> структура данных, которая затем компилируется в классы,
> представляющие эти структуры. Вместе с классами идет код
> их сериализации в компактный формат представления. В
> дальнейшем используя высокоуровневые языки
> программирования такие как Java, C++ или Python
> осуществляется чтение и запись данных.

> Protocol Buffers не предназначен для чтения пользователем
> и представляет собой двоичный формат. Для десериализации
> данных необходим отдельный .proto-файл, в котором
> определяется формат сообщения.

Т.е. опять-таки нет речи о том, чтобы просто взять кусок оперативной памяти и зафигачить в файл (а потом просто прочитать из файла).

На основании объекта класса строится DTO-представление, которое уже и пишется файл.

(0) ИМХО - Все намного проще делается.
Не лучше все движения запихнуть во временную таблицу с полем порядковый номер. И забирать уже из временной по условию (от 1 до милиона) - первый поток, от милиона+1 до двух милионов - второй поток и тд.

(86) Для этого всего-лишь нужно умудриться передать в другой сеанс менеджер временных таблиц)

(86) Каким же образом из разных сеансов (фоновых заданий) получать временную таблицу созданную в родительском сеансе?

(87) Через хранилище разве нельзя? И Запрос и МВТ

(89) Только не в 8.3

(77) Куски памяти, неважно.

(82) Я не сомневался в тебе. Сжатие данных скорее всего сожмет эту строку deflate-ом.

(85) Если это массив структур то можно взять и кусок памяти, так как они храняться все в одном непрерывном куске.
Что касается объектов, то они разбросаны по всей памяти.
Таблица типизирована, то можно записывать как в DBF для данных с определенным размером либо указывая размер данных в первых байтах например для строк.
Либо записывать в аналог иерархической бд

(93) Я не соглашусь с тобой.
Имхается мне, что все объекты в 1С - связные списки (даже массивы и структуры) - нет падения скорости вставки на больших объемах.

Мегазадача... а если попробовать как-то получать из разных сеансов адрес ячеек в ОЗУ, занятых исходной таблицей (которую инициировал родительский сеанс)?

http://rsdn.ru/article/cpp/ObjectsAndPointers.xml

(95) Аххх, если бы узнать адреса объектов 1С... мммм, какие возможности, но. Мечты. мечты.

(88)Есть глобальные временные таблицы
http://msdn.microsoft.com/ru-ru/library/ms174979.aspx
Временные таблицы


Можно создавать локальные и глобальные временные таблицы.  Локальные временные таблицы видимы только во время текущего сеанса, а глобальные — во всех сеансах. Временные таблицы не подлежат секционированию.

Имени локальной временной таблицы должен предшествовать знак номера (#table_name), а имени глобальной временной таблицы — двойной знак номера (##table_name).  

Инструкции SQL могут обращаться к временной таблице по заданному в инструкции CREATE TABLE значению аргумента table_name, например:

(97) Ты разбирался в тем, что такое
Protocol Buffers

(94) Так и на массивах с капасити с увеличение объема в 2 раза ты этого не увидишь. В Net все списки такие масиивы с запасом.

(98) По мне сериализация в Protocol Buffers - это полная аналогия записи в файл области памяти из Record.

(99) Не понял твоих мыслей. Мы говорим о динамическом массиве?

(98) Нет, но я сам когда то делал иерархическую БД на Delphi http://files.rsdn.ru/19608/C1InDelphi.zip

(101) Посмотри реализацию List

(102) Я тоже делал, делал. Связные двухсторонние списки, динамическая загрузка страниц из файла. Послал нахер, когда стал разбираться с индексами.

(104) Все сам, голый код, никаких BDE.

(97) что толку от ВТ, если 12 млн записей вешают сервер СУБД?

Единственное, можно попробовать передавать по кускам, например по 1 млн записей по схеме:

Передать в ВТ;
Выбрать из ВТ на сервере, объединить с ВТ_Буфер;
Очистить ВТ;

Передать в ВТ и т.д.

(103) Я надеюсь, это связный список.

(97) кстати, ты в курсе, что глобальная ВТ жива на сервере СУБД только до тех пор, пока жив (не отвалился) сеанс, ее создавший?

(107) Ах тыж млять, динамический массив,

array of Pointer;

Они охренели?

(100) см (85). Нет там "записи в файл области памяти"

(111) Ты не понял, что я спросил :-)

(97)я в курсе про глобальную ВТ, но ее не создать средствами 1С, напрямую обращаться к серверу субд прав нет

(113) посмотри, может тебе поможет. я делал хранимку и вызывал ее из 1С, а хранимка рулила глобальной ВТ

http://infostart.ru/public/287772/

(109)
[__DynamicallyInvokable]
public void Add(T item)
{
    if (this._size == this._items.Length)
    {
        this.EnsureCapacity(this._size + 1);
    }
    this._items[this._size++] = item;
    this._version++;
}


private void EnsureCapacity(int min)
{
    if (this._items.Length < min)
    {
        int num = (this._items.Length == 0) ? 4 : (this._items.Length * 2);
        if (num > 0x7fefffff)
        {
            num = 0x7fefffff;
        }
        if (num < min)
        {
            num = min;
        }
        this.Capacity = num;
    }
}


Это стандарные динамические массивы, StringBuilder итд с излишним объемом и увеличением в 2 раза при полном заполнении.

110 кстати посмотри что записывает ЗаписьFastInfoset

(116) Двоичные данные, а что?

(116) Что-то закодированное в base64

(90) а тс уже сознался, что у него 8.3? Если 8ю3 то там еще проще, в одном сеансе асинхронным методом запустить несколько процедур.
(106) ничего они не вешают. это тз вешает.
(108) про ком соединения тоже такой слух ходил, но ничего, через хранилище работает.

Ну двоичные данные можно посмотреть и блокнотом в нужной кодировке. Во всяком случае строки можно и прочитать,

(119) Прошу пример "в одном сеансе асинхронным методом запустить несколько процедур"

(108) http://technet.microsoft.com/ru-ru/library/ms186986(v=sql.105).aspx

Существует два вида временных таблиц: локальные и глобальные. Локальные временные таблицы видны только их создателям до завершения сеанса соединения с экземпляром SQL Server, как только они впервые созданы или когда на них появляется ссылка. Локальные временные таблицы удаляются после отключения пользователя от экземпляра SQL Server. Глобальные временные таблицы видны всем пользователям в течение любых сеансов соединения после создания этих таблиц и удаляются, когда все пользователи, ссылающиеся на эти таблицы, отключаются от экземпляра SQL Server.


Другое дело, что сессию нужно держать пока другая сессия не подключится к этой таблице

(121) В последних стандартных все примеры.

(123) В типовых нет ни одного примера "в одном сеансе асинхронным методом запустить несколько процедур". Приведи хотя бы один, пожалуйста :)

(0) Передавать, через ВременноеХранилище :)

(91), (95) Важно, только сейчас сообразил сервер 1С даже под Виндовс может быть 32 и 64, а значит разная структура, как минимум, указателей в этой памяти. А ещё Линукс есть и всё должно быть совместимо в одном кластере.
(94) А как в связном списке эффективно обращаться по индексу? Думаю там более сложная структура хранения.
(121) Скорее всего он говорит об оповещениях, но они работают в одном потоке.

(126) Типа дерева
http://rsdn.ru/forum/src/450320

(126) Если честно - детально вопрос не изучал. Но разве нельзя открыть одновременно 5 форм. В которых при открытии вызвать оповещение вопрос таймаутом у которого обработчикзавершения будет искомая процедура?

(127) только не бинарное думаю.
(128) так там однопоточная обработка. Объектов синхронизации в языке ведь нет.

(129) А вот так?

ПоказатьПредупреждение(Новый ОписаниеОповещения("НовыйОбработчикЗавершение", ЭтотОбъект),"Текст",10);
ПоказатьПредупреждение(Новый ОписаниеОповещения("НовыйОбработчикЗавершение1", ЭтотОбъект),"Текст",10);
ПоказатьПредупреждение(Новый ОписаниеОповещения("НовыйОбработчикЗавершение2", ЭтотОбъект),"Текст",10);

(117) Посмотрел, что там делает запись в ЗаписьFastInfoset

Правда при записи Тз нужно использовать СериализаторXDTO явно

Функция ПоместитьОбъектВХранилище(Источник)
    ЗаписьXML = Новый ЗаписьFastInfoset;
    ЗаписьXML.УстановитьДвоичныеДанные();
    ЗаписьXML.ЗаписатьОбъявлениеXML();

    СериализаторXDTO.ЗаписатьXML(ЗаписьXML, Источник);
    ДвоичныеДанные = ЗаписьXML.Закрыть();
    возврат  ДвоичныеДанные
КонецФункции


Тз=Новый ТаблицаЗначений;
    Колонки=Тз.Колонки;
    Колонки.Добавить("Поле1",Новый ОписаниеТипов("Строка"));
    Колонки.Добавить("Поле2",Новый ОписаниеТипов("Строка"));
    
    Для сч=1 По 1000 Цикл
    
        Стр=Тз.Добавить();
        Стр.Поле1="F1-"+Сч;
        Стр.Поле2="F2-"+Сч;
    
    КонецЦикла;
    тз.ВыбратьСтроку();
    
    Стр=ЗапистьОбъектВXML(тз);
    Сообщить(СтрДлина(стр));
    
    
    ДД=ПоместитьОбъектВХранилище(Тз);
    Сообщить(дд.Размер());
    дд.Записать("C:\ЗаписьFastInfoset");

Посмотрел на это чудо и увидел, что между полями 8 байтов.
Понятно, что нужно перед записью строки записать длину. В Net например для этого используется

protected void Write7BitEncodedInt(int value)
{
    uint num = (uint) value;
    while (num >= 0x80)
    {
        this.Write((byte) (num | 0x80));
        num = num >> 7;
    }
    this.Write((byte) num);
}


И чтение
protected internal int Read7BitEncodedInt()
{
    byte num3;
    int num = 0;
    int num2 = 0;
    do
    {
        if (num2 == 0x23)
        {
            throw new FormatException(Environment.GetResourceString("Format_Bad7BitInt32"));
        }
        num3 = this.ReadByte();
        num |= (num3 & 0x7f) << num2;
        num2 += 7;
    }
    while ((num3 & 0x80) != 0);
    return num;
}

что сокращает количество байтов для записи длины строки

(13) Ты пробовал использовать даты запрета редактирования и проведение вне транзакции?

(130) О господи... Сам то проверял?
В один поток выполняться будет.

Зато сколько бреда уже видел на форумах, что в 8.3 сделали многопоточность...

(130) Событийное управление. По какой кнопке щёлкнешь та и запустится, но пока работает обработчик одной из них, остальные будут висеть.
В лучшем случае, они будут переключаться, пока задача запущенная будет чего, то ждать, например, ввода пользователя.

(134) Вообще-то, достижением можно считать, что подключение к файловой базе может само запускать фоновые сеанс(ы ?), раньше такое было только на сервере 1С. А вот фоновые задания, вероятно, работают в отдельных потоках. Клиент становится многопоточным.

(135) (134) Нет не пробовал, я даже с управляемымми формами не работал :)

(125) а кстати, вариант! передавать из формы, и форму в родительском сеансе не закрывать, адрес временного хранилища запихнуть в регистр сведений

(136) Фоновые задания, безусловно, выполняются в отдельном потоке. Но тут важно, что они выполняются в отдельном сеансе (также, как и в серверной версии) - т.е. это не многопоточное программирование в традиционном виде - нельзя из нескольких потоков читать и писать одну переменную и т.д.
Единственным разделяемым ресурсом между такими "потоками" является база данных и некоторые механизмы кластера (эмулируемые в файловой версии). С объектами синхронизации все еще грустнее.

Исходя из этого, утверждать, что в 8.3 сделали многопоточность - бред сивой кобылы.

(125) (138) Тоже очень плохой вариант. Вызовет многократное копирование этой таблицы в оперативной памяти.

Если даже при передаче ТЗ параметром в фоновое задание памяти уже не хватает - в этом случае не хватит тем более.

(140) эммм... да, точняк...

а почему не регистр???

(140) во временное хранилище нужно запихнуть запрос с временной таблицей и менеджер временных таблиц.

(138) К чему такие сложности :(
Все куда проще, вот кусок кода, как распределить, что либо по процессам.
Вместо города можно использовать свою таблицу значений :)


Функция ПодготовитьФоновыеЗадания(ГородаТЗ) Экспорт
    
    //ТЗ_ФоновыеЗадания  Ключ, Выполняется, Выполнено, Адрес, НомерФЗ
    ТЗ_ФоновыеЗадания = Новый ТаблицаЗначений;
    ТЗ_ФоновыеЗадания.Колонки.Добавить("Ключ",Новый ОписаниеТипов("Строка"));
    ТЗ_ФоновыеЗадания.Колонки.Добавить("Выполняется",Новый ОписаниеТипов("Булево"));
    ТЗ_ФоновыеЗадания.Колонки.Добавить("Выполнено",Новый ОписаниеТипов("Булево"));
    ТЗ_ФоновыеЗадания.Колонки.Добавить("Адрес",Новый ОписаниеТипов("Строка"));
    ТЗ_ФоновыеЗадания.Колонки.Добавить("НомерФЗ",Новый ОписаниеТипов("Число"));
    
    Если ГородаТЗ.Количество() = 0 Тогда
        Возврат ТЗ_ФоновыеЗадания;
    КонецЕсли;
    
    //Город, КоличЭН, НомерФЗ
    Если ГородаТЗ.Количество() <= 10 Тогда
        НомерФЗ = 0;
        Для Каждого СтрокаГород Из ГородаТЗ Цикл
            НомерФЗ = НомерФЗ + 1;
            
            УникИД = Новый УникальныйИдентификатор;
            
            СтрокаФЗ = ТЗ_ФоновыеЗадания.Добавить();
            СтрокаФЗ.Ключ  = Строка(УникИД);
            СтрокаФЗ.Адрес = ПоместитьВоВременноеХранилище(Истина,УникИД);
            СтрокаФЗ.НомерФЗ = НомерФЗ;
            
            СтрокаГород.НомерФЗ = НомерФЗ;
        КонецЦикла;
        
    Иначе
        //Больше 10-ти... придется до укомплектовывать!!!...
        НомерФЗ = 0;
        
        пЗадач         = 10;
        ВсегоГородов = ГородаТЗ.Количество();
        
        ОтборСтрок = Новый Структура("НомерФЗ",0);
        
        Пока пЗадач > 0 Цикл
            НомерФЗ = НомерФЗ + 1;
            
            КолГорЦел = Цел(ВсегоГородов/пЗадач);
            
            Если КолГорЦел <> ВсегоГородов/пЗадач Тогда
                КолГорЦел = КолГорЦел + 1;
            КонецЕсли;
            ВсегоГородов = ВсегоГородов - КолГорЦел;
            
            //Запишем
            УникИД = Новый УникальныйИдентификатор;
            
            СтрокаФЗ = ТЗ_ФоновыеЗадания.Добавить();
            СтрокаФЗ.Ключ  = Строка(УникИД);
            СтрокаФЗ.Адрес = ПоместитьВоВременноеХранилище(Истина,УникИД);
            СтрокаФЗ.НомерФЗ = НомерФЗ;
            
            МассивСтрокГородов = ГородаТЗ.НайтиСтроки(ОтборСтрок);
            Если МассивСтрокГородов.Количество() = 0 Тогда
                Прервать;
            КонецЕсли;
            
            Для Каждого СтрокаГород Из МассивСтрокГородов Цикл
                СтрокаГород.НомерФЗ = НомерФЗ;
                
                КолГорЦел = КолГорЦел - 1;
                Если КолГорЦел <= 0 Тогда
                    Прервать;
                КонецЕсли;
            КонецЦикла;
            
            пЗадач = пЗадач - 1;
        КонецЦикла;
    КонецЕсли;
    
    Возврат ТЗ_ФоновыеЗадания;
КонецФункции


&НаСервере
Процедура ЗапуститьФоновыеЗадания()
    
    ГородаТЗ          = рГородаТЗ.Выгрузить();
    ТЗ_ФоновыеЗадания = рФоновыеЗадания.Выгрузить();
    
    ОтборГор = Новый Структура("НомерФЗ",0);
    
    Для Каждого СтрокаФЗ Из ТЗ_ФоновыеЗадания Цикл
        ОтборГор.НомерФЗ = СтрокаФЗ.НомерФЗ;
        МассивСтрокГор = ГородаТЗ.НайтиСтроки(ОтборГор);
        ТЗ_Копия = ГородаТЗ.Скопировать(МассивСтрокГор,"Город");
        МассивГородов = ТЗ_Копия.ВыгрузитьКолонку("Город");
        
        Ключ = СтрокаФЗ.Ключ;
        
        Переменная         = Новый Структура("Город, Ключ, Адрес, ПериодНач,ПериодКон",МассивГородов,Ключ,СтрокаФЗ.Адрес, Объект.ПериодНач, Объект.ПериодКон);
        
        МассивПараметров = Новый Массив;
        МассивПараметров.Добавить(ПолучитьТекстКода());
        МассивПараметров.Добавить(Переменная);
        
        РезСозданияФЗ = ФоновыеЗадания.Выполнить("ОбщегоНазначения.ВыполнитьКод",МассивПараметров, Ключ, "Отчет по синхронизации № "+Строка(СтрокаФЗ.НомерФЗ));
        
        СтрокаФЗ.Выполняется = Истина;
        СтрокаФЗ.УникИД         = РезСозданияФЗ.УникальныйИдентификатор;
    КонецЦикла;
    
    рФоновыеЗадания.Загрузить(ТЗ_ФоновыеЗадания);
    
КонецПроцедуры


&НаСервере
Функция ПолучитьТекстКода()
    
    ТекстКода = "
    | ОбрСинх = Обработки.ТвояОбработкаВКонфигураторе.Создать();
    | ОбрСинх.ПериодНач = Переменная.ПериодНач;
    | ОбрСинх.ПериодКон = Переменная.ПериодКон;
    | ТЗ_Результ = ОбрСинх.ПолучитьДанныеПоЗапросу(Переменная.Город);
    | ПоместитьВоВременноеХранилище(ТЗ_Результ,Переменная.Адрес);
    |";
    
    Возврат ТекстКода;
КонецФункции


Функция ПолучитьДанныеПоЗапросу(Город) Экспорт
//Тут твоё, код который делается в зависимости по отбору "Город" (у тебя будет свой вариант, или варианты)

//ТЗ_Результ - результирующая таблица значений

Возврат ТЗ_Результ;
КонецФуенкции


//Для того, что бы получить результат по фоновым заданиям
//Нужно организовать работу Обработчика заданий и
//опрашивать, завершилась ли работа задания...
//Или сделать это в цикле... но я бы не стал грузить процессор лишней работой
&НаСервере
Функция ПолучитьСтатусПоФоновымЗаданиям(ЗадачаЗавершена)
    
    ГородаТЗ          = рГородаТЗ.Выгрузить();
    ТЗ_ФоновыеЗадания = рФоновыеЗадания.Выгрузить();
    
    ОбновитьТаблФЗ = Ложь;
    
    ОтборСтр = Новый Структура("НомерФЗ",0);
    
    Для Каждого СтрокаФЗ Из ТЗ_ФоновыеЗадания Цикл
        Если СтрокаФЗ.Выполнено = Истина Тогда
            ОтборСтр.НомерФЗ = СтрокаФЗ.НомерФЗ;
            МассивСтрокГор = ГородаТЗ.НайтиСтроки(ОтборСтр);
            Если МассивСтрокГор.Количество() <> 0 Тогда
                КопТЗ = ГородаТЗ.Скопировать(МассивСтрокГор,"КоличЭН");
                ВсегоВыполненоЭН = ВсегоВыполненоЭН + КопТЗ.Итог("КоличЭН");
                КопТЗ.Очистить();
                КопТЗ.Колонки.Очистить();
                КопТЗ = Неопределено;
            КонецЕсли;
        КонецЕсли;
        
        Если СтрокаФЗ.Выполняется = Ложь Тогда
            Продолжить;
        КонецЕсли;
        
        РезСозданияФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(СтрокаФЗ.УникИД);
        Если РезСозданияФЗ <> Неопределено Тогда
            Если РезСозданияФЗ.Состояние = СостояниеФоновогоЗадания.Активно Тогда
            Иначе
                СтрокаФЗ.Выполняется = Ложь;
                Если РезСозданияФЗ.Состояние = СостояниеФоновогоЗадания.Завершено Тогда
                    СтрокаФЗ.Выполнено = Истина;
                КонецЕсли;
                
                ОбновитьТаблФЗ = Истина;
            КонецЕсли;
        Иначе
            СтрокаФЗ.Выполняется = Ложь;
            СтрокаФЗ.Выполнено = Истина;
            
            ОбновитьТаблФЗ = Истина;
        КонецЕсли;
    КонецЦикла;
    
    Если ОбновитьТаблФЗ = Истина Тогда
        рФоновыеЗадания.Загрузить(ТЗ_ФоновыеЗадания);
    КонецЕсли;
    

КонецФункции


//Где то еще по коду
&НаКлиенте
Процедура ОбновитьИнформациюФоновогоЗадания() Экспорт
    
    ЗадачаЗавершена = Ложь;
    
    рСтрокаСостояния = ""+ПолучитьСтатусПоФоновымЗаданиям(ЗадачаЗавершена);
    
    Если ЗадачаЗавершена = Истина Тогда
        //Остановить выполнения
        ЭтаФорма.ОтключитьОбработчикОжидания("ОбновитьИнформациюФоновогоЗадания");
        рЗапущеныФоновыеЗадания = Ложь;
        
        //Получить данные по фоновым заданиям и Вывести отчет....
        СформироватьОтчетФЗ();
        
    КонецЕсли;
    
КонецПроцедуры

//По завершению всех фоновых заданий...
ТЗ_Результ = ПолучитьДанныеПоФЗ(ТЗ_ФоновыеЗадания);

Функция ПолучитьДанныеПоФЗ(ТЗ_ФоновыеЗадания)
    
    ТЗ_Результ = Новый ТаблицаЗначений;
        //Структура колонок у тебя будет своя :)
    
    Для Каждого СтрокаФЗ Из ТЗ_ФоновыеЗадания Цикл
        Адрес = СтрокаФЗ.Адрес;
        Если ЭтоАдресВременногоХранилища(Адрес) Тогда
            ТЗ = ПолучитьИзВременногоХранилища(Адрес);
            Если ТЗ = Неопределено или ТипЗнч(ТЗ) <> Тип("ТаблицаЗначений") Тогда
                СообщПольз = Новый СообщениеПользователю;
                СообщПольз.Текст = "Ошибка при формировании отчета № "+Строка(СтрокаФЗ.НомерФЗ);
                Продолжить;
            КонецЕсли;
            
            Для Каждого СтрокаТЗ Из ТЗ Цикл
                СтрокаРез = ТЗ_Результ.Добавить();
                ЗаполнитьЗначенияСвойств(СтрокаРез, СтрокаТЗ);
            КонецЦикла;
        КонецЕсли;
    КонецЦикла;
    
    Возврат ТЗ_Результ;
КонецФункции

+(144)  Еще в общем модуле "ОбщегоНазначения" пишешь
У тебя будет свой модуль, главное, что бы он выполнялся только на сервере :)

Процедура ВыполнитьКод(ТекстКода, Переменная) Экспорт
    Выполнить(ТекстКода);
КонецПроцедуры

(143) Менеджер временных таблиц нельзя помещать во временное хранилище.

(143) Это вообще ненужно делать :)

(146) Это печально.

ГородаТЗ          = рГородаТЗ.Выгрузить()

эта строка не будет в каждом фоне создавать ТЗ и дублировать ее в ОЗУ, о чем справделиво сказал (140)

будет создавать

(55) <<Мне то они не нужны, типовой расчет себестоимости в упп 1.3

+ в каком именно регистре столько записей?

(148) Если правильно понимаю - это плата за кластер

Копирование ТЗ в памяти - это глупости и мелочи, это не о чем.
А вот передача ТЗ через временное хранилище вызовет ее сериализацию (самое забавное, что 1С скорее всего делает тупо инкремент результирующей строки, вызывая realloc) и передачу строки в соседний процесс.

И это логично и понятно.

(153) Да. Но, балин, че бы не разрулить эту ситуевину через глобальные временные.

(153) Или хоть бы теже локальные, доступные пока сеанс 1С не ушел на другой сеанс SQL.

(154) Фоновое задание может запустить на другом rphost'е. А еще - перед вызовом все параметры фонового задания передаются в rmngr и удерживаютя в нем - фиг знает сколько времени после того, как задание выполнится, можно прочитать его параметры через ФоновыеЗадания.Получить() - именно за счет того, что параметры удареживаются в rmngr.

Поэтому все, что передается параметром фонового задания не может быть просто скопировано в памяти - только сериализация, только хардкор)

(157) У меня там приписка:

И это логично и понятно.

тз хз фз тч xdto...

(158) упс, не заметил)

(154) На другом компьютере с другой битностью, и даже на другую ОС.
(155) А они точно есть под Постгре и ДБ2? Решение-то задумано как универсальное.

(161) "На другом компьютере с другой битностью, и даже на другую ОС. "

Не понял вопроса.

(155) "А они точно есть под Постгре и ДБ2? Решение-то задумано как универсальное."

А ХЗ. Даже если так - Постгре и ДБ2 вместе с Линуксом идут лесом. Микрософт - наше фсё!

(36)>"Пусть фоны читают ТЗ и ждут, пока все флаги в служебном регистре сведений не установятся в "Можно писать""

Не догоняю как организовать 1С-ным кодом чтобы фоны "ждали"

(152) УчетЗатратРегл например

(162) То что сериализация решает проблему с длинной указателей (связывающих структуры данных, из которых состоит объект), порядком байт и способом хранения в развёрнутом виде у получателя этих передаваемых данных.
1С стремилось к кроссплатформенности. А плата как обычно эффективность.

(149) Приведенный код состоит из разных частей :)
Один код, где объявлен "&НаКлиене НаСервере". Выполняется на форме ;)
Где этого кода нет, выполняется в модуле обработки.

(150) Не будет, если напишешь правильно, то нечего не будет лишнего сдаваться. :)
И что значит создавать?
Тебе нудно просто получить ТЗ, вместо объекта на форме. :)

(164) Нет. Сериализация решает проблему прежде всего с отсутствием объекта в памяти, на который ссылается ячейка таблицы значения. И уже потом длины указателей.

+(166) Не забывай, фоновое задание, это как бы отдельный пользователь.

(167) Т.е. если скопировать память объекта из 32х битного процесса в 64х битный, в которой будут находится указатели или целые числа, длина которых зависит от архитектуры процессора, то проблем не будет? Там же всё сползёт.
Если сериализация почему-то табу, то указатели можно попробовать заменить на дескрипторы, без привязки к адресу памяти, тогда данные можно будет копировать memcpy, но это уже в порядке бреда.

(169) Длина целых чисел не зависит от процессора.
А вот размер указателя - да.
И в этом случае все равно можно извратиться - резервируя 4 лишних старших байта возле указателя возле 32-х разрядного процесса. Но все равно, для длинных строк придется выделять динамическую память и заполнять указатели новыми значениями. Но это все равно на порядки быстрее, чем сериализация.

(170) Но это не решает проблему непримитивных типов, которые могут содержаться в ячейке таблицы.

(170) Размер int зависит от компилятора. Никто не мешает ему сделать 64-битный int на 32-хразрядной машине. И наоборот. Многие компиляторы для 64-битных платформ все равно оставляют int 32-хбитным.
http://rsdn.ru/forum/cpp/2334752.flat
Или авторитетнее: http://ru.cppreference.com/w/cpp/language/types
(171) Непримитивный тип - это объект, значит в ячейке хранится ссылка на него. А как эта ссылка технически реализована это уже детали, может как указатель на память, а может, как гуид объекта, который был ему задан в процессе сериализации.

(172)
"Размер int зависит от компилятора. Никто не мешает ему сделать 64-битный int на 32-хразрядной машине. И наоборот. Многие компиляторы для 64-битных платформ все равно оставляют int 32-хбитным. "

Итить колотить, да какая разница. Речь о данных, а не о коде.

Это я к тому, что системе пофиг, какие там данные, ей важно чтобы указатели/дескрипторы/callback параметры были нужной размерности.

Так и я о данных, rphost 32х не обязан создавать точные аналоги структур ДАННЫХ используемые под 64х, тут ведь глядишь и 128-битные процессоры выпустят. )
И не забываем про Линукс. Не думаю, что указатели/дескрипторы/callback имеет смысл переносить между компьютерами.
А ещё многие просят платформу под Мак, там, кажется, даже порядок байт в числах может быть другим. wiki:Порядок_байт

(168) 1 сеанс получает ТЗ, передает на сервер 1С и кладет во временное хранилище. Как тут уже выше писали, это сериализация в строку в чистом виде, передача строки из 12 млн записей - не думаю, что это быстро, это раз... уж если xml-ка с 5 млн записей регистра весила у меня порядка 10 Гб, то тут.....

все последующие сеансы (фоны) должны работать с ТЗ, а не со строкой из ВХ, следовательно, они должны оттуда ее достать, твоя строчка Тз = Фон.Выгрузить() как раз это и делает. Тз грузится в ОЗУ, а значит каждый фон сожрет все ОЗУ на сервере 1С.

Или я что-то в твоем коде не увидел особенного?

(175) Передача строки из 12 млн записей - это быстро.
Медленно - это формирование строки, особенно если инкрементом.

Кстати, менеджер rmmngr мог бы работать с rphost-ами через именованные каналы, но я не заметил этого. Надеюсь, он работает через shared memory.

Эххх, поработать бы мне разработчиком платформы, я бы там такого наворотил! А потом бы вы все плакали горючими слезами.

(177) имхается, что shared memory все же, недаром советуют ее включать в случае разворачивания элементов кластера на 1 физическом сервере

(177) Для этого нужен свой менеджер памяти как в Delphi
http://rsdn.ru/article/Delphi/memmanager.xml

или Exchange Heap


http://rsdn.ru/article/singularity/singularity.xml#EFKAC

(179) Это между сервером 1С и SQL.

(177) Теоретически он не должен работать вообще :)

+(182) Между заданиями

(180) Это для какого случая?

(180) Именнованные каналы шикарны. Там уже все реализовано (передача данных, синхронизация) на уровне ОС, там даже данные по сети можно передавать.

(185) И опять я со своим дёгтем, это должно как-то работать в Линуксе, так что каналы не подходят. А общая память пойдёт только в пределах одной машины, а значит будет писаться когда отладят межмашинное взаимодействие.
Я Линукс не знаю, но 1С почему-то радеет за кроссплатформенность.
Кстати, именованные каналы у меня зависали чаще, чем сокеты на UDP.

(186) А я счаст говорю о уровне
менеджер кластера- процессы сервера 1С.

(185) Ты плохо прочитал про Exchange Heap  это использование общей памяти между доменами, а не просто передача.

Передача по каналам например тебе нужно все равно сериализовывать, ибо в 1С для объектов идет подсчет ссылок, свой менеджер памяти итд.
Можно так передавать только массив структур Валуе типов.
Проблема все этой темы это глобальные временные таблицы которых нет в 1С.

(188) Да понятно, что нужно сериализовывать.

(188) может в 8.4 будут )))

я так и не понял почему от регистра отказались?

(191) Там всякие гейтсо-мерские индексы будут обновляться.

(178) И что же мешает?)

(190) Можно конечно внешние источники использовать, но как там с типизацией, как впрочем и для глобальных таблиц?
(191) Наверное потому, что в отличие от временных таблиц у 1С нет массовой записи в регистр из тз.
Самому приходилось через булки и Merge обновлять регистры напрямую.

(187) Так рабочие процессы могут работать на серверах в сети, для масштабируемости и отказоустойчивости, отделённых от менеджеров кластеров. Даже менеджеры кластера можно сделать различными и разнести по разным компьютерам, раздав им свои сервисы, вроде сервисов нумерации, работы с внешними источниками, блокировок разных видов и т.д.
А ещё там есть передача сеансовых данных от главного менеджера к резервному, она тоже требует сериализации.

194 Вернее он есть, но такой медленный. Там мало того, что по 1 записи, попутно удаляя старые записи. Нет Merge.
А учитывая индексы там можно просто вешаться на 12 миллионах. По 3 часа помню на 4 миллионах было.

(194) а как ты сам писал регистратора или ссылочные типы?

(133) Только так и проводим

(197) Я писал в регистр сведений.
Типа такого
Стр="
     |BEGIN TRAN;
     |If OBJECT_ID('TempDB.dbo.#TempPrice') is not NULL DROP TABLE  #TempPrice;
     |Declare @ТекущаяДата as datetime= GetDate()
     |Declare @Прайс as binary(16) = "+ПолучитьGUIDПоУникальномуИдентификатору(ТипЦен.УникальныйИдентификатор())+"
     |Declare @Импорт as Binary(1) ="+ ?(ТипЦен.Импорт,"0x01","0x00")+";
     |Declare @x as int= (Select Count(*) From dbo."+СтрРегПрайсов.ИмяТаблицыХранения+ " WITH (UPDLOCK)
     | where "+РегПрайсовПоля.ТипЦен+"=@Прайс);";

     Если МейкУстановлен Тогда
         Стр=Стр+"
         |Declare @Мейк as binary(16) = "+ПолучитьGUIDПоУникальномуИдентификатору(УстановленМейк.УникальныйИдентификатор())+";";
     КонецЕсли;
     СтрАртикул=ТзЗагрузКолонок[0];
     СтрСелект="SELECT distinct "+СтрАртикул.СтрокаПоля+",@Прайс as Прайс,";
     Если МейкУстановлен Тогда
         СтрСелект=СтрСелект+"@Мейк as Мейк"
     Иначе
         СтрСелект=СтрСелект+"ТаблицаМейков._IDRRef as Мейк";
     КонецЕсли;
    
     Для сч=4-1 По ТзЗагрузКолонок.Количество()-1 Цикл
         Строка=ТзЗагрузКолонок[сч];
         Если Строка.Использование Тогда
             СтрСелект=СтрСелект+","+Строка.СтрокаПоля
         КонецЕсли;
     КонецЦикла;
    
     Стр=Стр+"
     |"+СтрСелект+"
     |INTO #TempPrice
     |FROM OPENROWSET( BULK N'"+ФайлСПрайсом+"',
     |FORMATFILE = N'"+ИмяФайлаФрмата+"',";

v8: _SimpleKey и его установка

(200) я имел ввиду как ты Справочник.Номенклатура например преобразовывал в binary(16), там же в поле таблицы, соответствующей ссылочному измерению этот тип

(201)
Функция ПолучитьGUIDПоУникальномуИдентификатору(UUID1)
    UUID=ВРЕГ(UUID1);
    ч1 = Сред(UUID,20,4);
    ч2 = Сред(UUID,25,12);
    ч3 = Сред(UUID,15,4);
    ч4 = Сред(UUID,10,4);
    ч5 = Сред(UUID,1,8);
    Возврат "0x" + ч1 + ч2 + ч3 + ч4 + ч5;
КонецФункции

(0)у тебя ответ в вопросе
алгоритм допускает многопоточную обработку
(кстати любой)
нужно или до создания таблицы его изменить так чтобы было много мелких таблиц
или передавать частями
а лучше выпилить таблицы значений и вычислять всё в скулях

проблему с недокументированными ссылочными полями можно решить. сделать записей сколько нужно где нужно платформой а потом их проапдейтить скулем.

(198) Какой из процессов ты надумал распустить на потоки? А то я слабо верю, чтобы матрица системы одного узла корректировки стоимости набрала 12 миллионов строк...

В (205) фигню ляпнул - имелся в виду не узел а выделенный граф из всего расчета. Или ты кораблестроение автоматизируешь?

(206) 12 млн это количество записей в регистре УчетЗатратРегл перед сверткой

(207)и что их сразу на сервере прочитать нельзя??? )))

(0) Сериализуй в файл
ЗаписьXML = Новый ЗаписьXML;
    ЗаписьXML.ОткрытьФайл(ИмяФайла);
   СериализаторXDTO.ЗаписатьXML(ЗаписьXML, Источник);
   ЗаписьXML.Закрыть();

А в параметрах передавай ИмяФайла и загружай сериализатором через чтение файла

(208) Можно, но только 1 раз, потом они будут изменены, это уже обсуждалось выше

+(210) в одном фоне можно прочитать

(211) Можешь и в разных. Скорее всего ЧтениеXML открывается только на чтение.

(209) Это будет работать до появления второго сервера в кластере

(213) Всмысле? Что при этом с файлом случится?

(214) Он останется на том сервере, на котором был создан.
А фоновое задание запустится на другом сервере. На котором этого файла отродясь не было.

(215) Угу то есть если ты файл записал в расшаренную то ты этот файл не увидишь? Есть еще FTP, НTTP ресурсы

(216) Из расшаренной - увидишь, если она будет доступна с обоих серверов. Только это:
1. Снижает надежность - появляется еще одна точка отказа
2. Усложняет развертывание - представь, что в серверной был пожар и надо срочно все поднять из бекапов - про расшаренную папку никто и не вспомнит
3. Не по феншую

(217) Главное, что бы работало, а все остальное это уже поиски фэншуя. Так или иначе, большинство файлов держат не в базе а рядом с ней. Например
Хранилище FILESTREAM объединяет компонент SQL Server Database Engine с файловой системой NTFS, размещая данные больших двоичных объектов (BLOB) типа varbinary(max) в файловой системе в виде файлов. С помощью инструкций Transact-SQL можно вставлять, обновлять, запрашивать, выполнять поиск и выполнять резервное копирование данных FILESTREAM. Интерфейсы файловой системы Win32 предоставляют потоковый доступ к этим данным.

Для кэширования данных файлов в хранилище FILESTREAM используется системный кэш NT. Это позволяет снизить возможное влияние данных FILESTREAM на производительность компонента Database Engine. Буферный пул SQL Server не используется, поэтому данная память доступна для обработки запросов.


http://technet.microsoft.com/ru-ru/library/bb933993(v=sql.105).aspx

218 + http://msdn.microsoft.com/ru-ru/library/bb933972.aspx

(210)
не читал всё внимательно
но
если ты держишь их в памяти в тз только чтобы иметь исходник сделай регистр2 и храни там

(220) большая потеря времени на запись в регистр2, теряется смысл многопоточности, время работы в итоге не уменьшается, а может еще и увеличится

самое нормально мне кажется напрямую с SQL работать. Вытащить там все данные во временную таблицу внутри SQL и уже фоновыми оттуда забирать то что нужно.

Можно вопрос - а что мешает прочитать по частям этот УчетЗатрат в несколько потоков?

(223) Если там алгоритм обработки можно распаралелить.

(221) у тебя небось регистр со всеми полями - измерениями?

(223) гы, я уже спрашивал на первой странице

(223) Я так понимаю. он динамично меняется. Надо одномоментно прочитать, и потом уже разбиратся с тем что прочитали. Иначе из этих частей не соберется исходный массив.

(227) Из родительского процесса наложить разделяемую блокировку.

Фоновые процессы прочтут регистр накопления и отчитаются в Регистр сведений.

Родительский процесс ждет отчета от всех фоновых и снимает блокировку.

(221)пиши скулем какие проблемы?

(223)(224)для этого нужен мозг
(228)сабж предполагает волшебную галочку типа птичка типа чекбокс в настройках сервера

(230) "типа птичка типа чекбокс в настройках сервера"

Это какую?

(228) Вот мы и дошли до изобретения RPC) Как предлагаешь из фоновых передавать инйормацию в родительский?)

(232)
Написал же, регистр сведений.

судя по вопросам автор сабжа со всем отделом всё равно не справится )))

(234) Ты справишься еще меньше.

(233) Я тоже лучше ничего не придумал. RPC через базу данных. Тоска, пичаль.

(236) Лучше это прямой доступ к БД и использование всей мощи SQL

(235)тогда поставь сервак 64 и подкачку 100 и жди )))
авось!

(237) SQL-сервер не есть "серебрянная пуля"
Если задача реально обеспечить параллельность - то чем он тебе поможет?

(239) А  транзакции и блокировки для кого придуманы?

Вернее уровни изоляции транзакции

(239)ну если распараллелить расчеты лень то можно дать скулям посчитать.
мы же не знаем нафига ему эта таблица и насколько он знает скуль.
выигрыш там будет несколько порядков. естественно на апдейтах. ибо не исключено что с помощью курсоров он и там сервак повесит.

(228) Расчет происходит ВНЕ ТРАНЗАКЦИИ, блокировки не сработают, плюс таймаут (если бы было в транзакции) никто не отменял
(232) Для получения из фоновых в родительский обычно используется ПоместитьВоВременноеХранилище
(234) Вы предлагаете свою помощь? Справитесь? :)
(240) Расчет ВНЕ ТРАНЗАКЦИИ
(242) :) нет доступа к БД, так что ваш совет не подходит

(243) Так десериализацию из файла не пробовал?

(243) Расчет происходит ВНЕ ТРАНЗАКЦИИ.

Как это относиться к тому, что я написал в (228)?

(243) Таймаут реализуй через скрипт.

(245)управляемые блокировки работают только в транзакции

>нет доступа к БД

разверни рядом другой экземпляр скуля, суй в него

(247) Используй
НачатьТранзакцию();

(243)у тебя его нет потому что тебе он не поможет.
тем кто умеет его готовить дают.