Надо выгрузить все продажи + присоединенные аналитики (около 15 колонок) за месяц, чтоб в экселе построить сводные таблицы. Получается за ОДИН ДЕНЬ около 30000 строк в результате запроса. Если месяц запустить то 1С сжирает всю память на локальной тачке и вылетает.

И как теперь выгрузить все данные за месяц? На 7.7 раньше такой отчет делался час, а на 8.2 он вообще не жилец

выгружай кусочками

ну разве что обработку написать чтоб по каждому контрагенту выполняла запрос и выгружала все в один файл экселя...

(0) Либо (1), либо сразу выгружай в csv.

(0) А кто мешает сводные таблицы построить в 1С?

(4) тоже думал, в 1С же есть инструменты анализа данных, но это надо заморочиться и изучать доки, а времени нет. А для экселя уже есть готовый шаблон

кстати в консоли запросов почему то не всегда можно использовать закладку "сводная таблица", часто там пустой список полей. От чего это зависит?

(0) выгружай на сервере, если есть 64 разрядный сервер

в принципе то что раньше делали в экселе можно сделать на СКД, но объем ппц! Далеко еще 1С до серьезных систем, нельзя даже проанализировать многомерные данные за месяц в средней торговой компании.

думаю вот интересно было бы сделать выгрузку данных во внешнюю СУБД и написать программу на делфи или яве, с OLAP-кубами. Потом хоть за год анализируй

Вариант номер раз:
формировать в 1С сводные отчеты в нужном виде.

Вариант номер два: посмотреть в сторону Microsoft SQL Server Analysis Services (или подобных систем) см. здесь http://en.wikipedia.org/wiki/Microsoft_Analysis_Services

(8) не понимаю , что можно анализировать в отчете в 30 тыс. строк ?

вот прикольная штука для C#
http://www.perpetuumsoft.com/OLAP-CHART-ModelKit.aspx
но платная :(
Кажется бесплатное решение - только jPivot на яве

(11) 30 тыщ это два дня, за месяц получается больше ста, и то из-за свертки по номенклатуре
(10) как их формировать если даже сам запрос не может выполнится из-за нехватки памяти. Одна надежда на оптимизацию, еще буду пробовать. Но нормальный быстрый OLAP все равно было бы круто

(13) у меня есть обработка которая анализирует журнал регистрации. в выборке, до всех сверток 200 - 300 тыс. строк. проблем нет.

(13) это не объясняет что можно ценного почерпнуть из отчета в 30 тыс. строк

Ну вот, а говорите Cnews врет. Эксель форева. :-)

(15) +100.  Разве что - отослать его по емэйлу начальнику, чтобы он увидел цифру итого в последней строке

(15) там банально анализируют клиентов по степени выгодности работы с ними и товары по прибыльности продаж

(18) Ну и анализируй это в 1с

(18) Кстати вопрос проанализировали, а дальше что?

(20) не знаю, наверно решения какие то принимают :) Мое дело данные предоставить или готовый отчет сделать

Понятно. Решение приняли, начали заколачвать данные в 1С-ку обратно.
Удобная штука эта 1-ка, очень помогает в работе...

(21) я бы на твоем месте начал бы чуток вникать в суть дел. помогает в том плане, что иногда дурацкие "хотелки" еще на этапе придумывания отсекаются.

ну для наглядности вот набор колонок которые должны быть -

Разрезы: Номенклатура, Менеджер, Контрагент,Торговая точка, Филиал, Регион, Вид склада, Группа товаров, Единица измерения
Данные: Продажи - шт., руб., НДС
       Возвраты - шт., руб., НДС
       Всего - шт., руб., НДС

Хотелку эту не придумали только что, всю жизнь клиент анализировал по этим данным свои продажи

(21) "Вон оно че, Михалыч!".
Для принятия решения нужно видеть всего лишь несколько циферок. Это количество не превышает 10. Зачем для этого анализировать "просторы космоса" - не понятно...

(23) +100500
хорошо бы четко определить конечные цели пользователей и понять как это все правильно оптимизировать. не верю я что они сидят и просматривают весь этот отчет. надо выводить только значимые показатели.

итого 18 колонок, запрос по регистру продаж, с отбором по виду документов - реализации и возврата.
(25) так ведь решение принимает не тот кто строит отчет, он как раз и делает из этих 100000 строк сводный отчетик в Экселе на полстраницы, и показывает эти итоги главному по продажам

посмотрел щас за месяц в консоли - в результате запроса 452000 строк

(27) Надо на этапе формирования отчета получить этот заветный сводный отчетик на пол страницы.

так отчетик то не статический, в том и мощь экселя что на одних и тех же данных можно по разному анализировать все эти разрезы, перетаскивать мышой группировки в разных сочетаниях. Как в СКД, только не надо каждый раз формировать отчет заново.

Нет одного "заветного" отчета, аналитик сам выбирает набор колонок и показателей, по которым захочет узнать статистику или развернуть данные

если вылетает запрос - используй выборку или комбинируй выборку и запрос (я знаю что запрос в цикле это не по православному, но если других вариантов нет). но вобще странно, 100 000 строк для 1с - полная ведь фигня

как выяснилось - не сто а 450 тысяч строк

Кстати, а Эксель нормально переваривает 450 тыс. строк?

в него еще не выгружал, но 2010й поддерживает до 16 млн строк вродебы

(34) А на 7.7 как жили? Там же вроде 64000 ограничение было.

Тфу ты, в смысле до 2010-го как жили.

64 тыщи это было кажется в Excel-97 , вы че

раньше работали в 2007, там предел 1048576 строк

Количество строк в Excel 2003 – 65 536, а число строк в Excel 2007 и Excel 2010 – уже 1 048 576

(30) http://s018.radikal.ru/i514/1207/c7/76dfdc4a8539.jpg ?

выгружа

выгружай кусками, чего тут думать ? потом можно в тот же sql загрузить к нему подключить ексель  и все поанализировать.

(38) за 1 день 30К строк, за год получится 10,9 КК строк. Сдается мне что не анализировали эти данные в экселе
По поводу того что запросу не хватает памяти - скорее всего коряво написан с вытягиванием большого количества объектов.

мой севет канешь немного другой но всеже .... советую сделать прямые выгрузки движений из таблицы sql , данные импортировать в OLAP тогоже микрософта через регламент ...
ну а потом через источники данных уже в экселе подключать и крутить как хочешь .... ...
можно далее накрутить и сделать все в репортин сервисес и вообще избавится от экселя...

(43) ну во первых только за месяц анализировали всегда, не за год.
во-вторых, оптимизировал уже, убрал проверки по типу документа, сделал просто - если количество меньше нуля значит это возврат. больше - это реализация
Получается 145 тыс. строк.

(40) это че за штуковина такая??

(45) 1. У тебя памяти не хватает не из-за условий, а из-за объектов, условия у тебя влияют на скорость.

(45) лучше выгружать представление(Ссылка) тогда памыти съестся меньше... в (46)   подсказали прально

(45) текст запроса в студию


ВЫБРАТЬ РАЗРЕШЕННЫЕ
   СпрТовары.Ссылка КАК Номенклатура,
   ПродажиОбороты.Фирма_Филиал КАК Филиал,
   Точки.Регион КАК Регион,
   МенеджерыТТ.Менеджер КАК Менеджер,
   ПродажиОбороты.Контрагент КАК Контрагент,
   Точки.Ссылка КАК ТорговаяТочка,
   СпрТовары.ЕдиницаДляОтчетов КАК ЕдДляОтчетов,
   СпрТовары.Родитель.Фирма_ВидСклада КАК ВидСклада,
   СпрТовары.Родитель КАК Группа,
   СпрТовары.СтавкаНДС КАК СтавкаНДС,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот > 0
           ТОГДА ПродажиОбороты.Фирма_КоличествоКгОборот
       ИНАЧЕ 0
   КОНЕЦ КАК РеализацияКолКг,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот > 0
           ТОГДА ПродажиОбороты.Фирма_КоличествоКгОборот - ПродажиОбороты.Фирма_КоличествоТСОборот
       ИНАЧЕ 0
   КОНЕЦ КАК РеализацияКолКгСУчетомТС,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот > 0
           ТОГДА ПродажиОбороты.Фирма_КоличествоШтОборот
       ИНАЧЕ 0
   КОНЕЦ КАК РеализацияКолШт,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот > 0
           ТОГДА ПродажиОбороты.СтоимостьОборот
       ИНАЧЕ 0
   КОНЕЦ КАК РеализацияСтоим,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот > 0
           ТОГДА ПродажиОбороты.НДСОборот
       ИНАЧЕ 0
   КОНЕЦ КАК РеализацияНДС,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот < 0
           ТОГДА -ПродажиОбороты.Фирма_КоличествоКгОборот
       ИНАЧЕ 0
   КОНЕЦ КАК ВозвратКолКг,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот < 0
           ТОГДА -ПродажиОбороты.Фирма_КоличествоШтОборот
       ИНАЧЕ 0
   КОНЕЦ КАК ВозвратКолШт,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот < 0
           ТОГДА -ПродажиОбороты.СтоимостьОборот
       ИНАЧЕ 0
   КОНЕЦ КАК ВозвратСтоим,
   ВЫБОР
       КОГДА ПродажиОбороты.КоличествоОборот < 0
           ТОГДА -ПродажиОбороты.НДСОборот
       ИНАЧЕ 0
   КОНЕЦ КАК ВозвратНДС,
   ПродажиОбороты.КоличествоОборот КАК Колво,
   ПродажиОбороты.Фирма_КоличествоКгОборот КАК ИтогКолКг,
   ПродажиОбороты.Фирма_КоличествоШтОборот КАК ИтогКолШт,
   ПродажиОбороты.Фирма_КоличествоКгОборот - ПродажиОбороты.Фирма_КоличествоТСОборот КАК ИтогКолКгСУчетомТС,
   ПродажиОбороты.СтоимостьОборот КАК ИтогСтоимость,
   ПродажиОбороты.НДСОборот КАК ИтогНДС
ИЗ
   РегистрНакопления.Продажи.Обороты(&НачалоПериода, &КонецПериода, Период, Организация = &ТД) КАК ПродажиОбороты
       ЛЕВОЕ СОЕДИНЕНИЕ Справочник.Фирма_ТорговыеТочки КАК Точки
       ПО ПродажиОбороты.Фирма_ТорговаяТочка = Точки.Ссылка
       ЛЕВОЕ СОЕДИНЕНИЕ РегистрСведений.Фирма_МенеджерыТД.СрезПоследних(&КонецПериода, ) КАК МенеджерыТТ
       ПО (Точки.Ссылка = МенеджерыТТ.Объект)
       ЛЕВОЕ СОЕДИНЕНИЕ Справочник.Номенклатура КАК СпрТовары
       ПО ПродажиОбороты.Номенклатура = СпрТовары.Ссылка


(45) Анализ. В клющках. :-)
24 измерения, 11 итогов сейчас. за месяц строится, правда, долго - 8 минут.

(50) ну вижу что в клюшках :) че за компонента? ActiveX на форме какой то что ли?

OWC. Куб строится кверикконсолью Берездецкого... На этом сейчас порядка 15 отчетов крутятся - продажи, заупы, дефициты, эффективности всякие, заправки и пробеги...
В принципе, у меня сейчас и в корпортале такой же куб для руководителей отделов отображается...
в снеговике еще не делал, но, похоже, придется...

ЛЕВОЕ СОЕДИНЕНИЕ Справочник.Фирма_ТорговыеТочки КАК Точки
       ПО ПродажиОбороты.Фирма_ТорговаяТочка = Точки.Ссылка

нафига вот это соединение?

ЛЕВОЕ СОЕДИНЕНИЕ Справочник.Номенклатура КАК СпрТовары
       ПО ПродажиОбороты.Номенклатура = СпрТовары.Ссылка

и это?

ну и конечно везде выбирать ссылки для выгрузки в Эксель нафига?

таблица оборотов ограничена только Организацией

в (52) слово "заупы" читать как "закупы", а не иначе :-)

да и сам регистр продажи убит наглухо добавлением миллиона ресурсов

(0)пишешь вьюшку в sql, потом заходишь в ёксел и загружаешь её в него

и с такими запросами потом кричат что снеговик тормоз, а клюшки ракета :)

А регистр Продажи разве не содержит уже Номенклатуру, нафиг там (54) ?
Фирма_КоличествоКгОборот каким образом превращается в ИтогКолКг - вообще непонятно, че этим вы хотите сказать.

и где собственно ТС пропал?

(54), (61)
обращение к полям номенклатуры?

соединение с номенклатурой все равно будет неявное, там же через точку у нее реквизиты берутся.
(58) так о том и речь, ресурсов много а отбор только по организации

(63) вот это СпрТовары.Родитель.Фирма_ВидСклада все равно делает ненужным левое соединение.

(64) выборку то должен делать. емнип он выбирает по 10тыр или 100 тыр строк

(65) там нужно 2 левых соединения. скуль построит 2ое сам. запрос на скуле отрабатывается

https://lh3.googleusercontent.com/-ddvcFcLl3_o/THtob_0u_yI/AAAAAAAAHcc/hvt6tNEmC1Q/s967/OLAP.JPG

(64) короче переходи на клюшки, там запросы попроще да и не тормозят

(0) а что за локальная тачка? ты с выгруженной таблицей пытаешься на толстом клиенте работать? так?

(69) как раз ОТ клюшек уйти и стараемся ))

(52) я для 1с82 УФ тестировал PivotCubeAX
вроде работает, но потом сменил работу и ОЛАП стал не очень нужен

(70) ага

(73) а если через СКД выгрузить в таблицу значений, потом ее выгрузить в csv ?

(73) а эти все ВЫБОР КОГДА реализовать через вычисляемые поля

(73) надо работатать или в контексте сервера или делай выборку, а не выгрузку

(73) если клиентский компик настолько плох, что не может работать с 400кило строк, ты уверен, что он будет с ними работать в экселе?

(73) ТЗ можно использовать на этапе отладки, при работе работай с запросом

(77) в экселе у него будут простые типы данных: строки и числа, а в ТЗ 1С у него объекты тянутся, они гораздо тяжелее строк

(79) ссылка - это 2 строки:сама ссылка и ее представление. Ну подумаешь в 2 р. больше :)

А если все поля сделать представлениями, быстрее будет?

(79) просто не в этом дело, имхо. Если он с такой выборкой не может работать, то тут надо что-то более координальное, чем заменять ссылки представлением. Кстати он может это же и в эске сделать

(81) ну памяти меньше уйдет

(81) а если попросят период выборки увеличить, снова будешь сидеть и думать :)

(71) Причины перехода озвучь.

(85) переход на УПП )) нормальная причина?

ИМХО 30000 и 10000 для восьмерочных запросов - это детские размеры. Выполняется на секунды. Что-то автор не договаривает, какая-то другая видимо причина нехватки памяти.

не 30 тысяч а 145

(86) А на УПП зачем перешли?

(87) да ты его запрос глянь, там столько обращений к одним и тем же таблицам, что не каждый скуль проглотит

(89) ну так а где же еще ABC и XYZ анализы проводить? :))))

(89) потому что тут и производство и торговля в одной базе будут, мясокомбинат же ж

(90) скуль то проглотил. клиент не проглотил

(88) ну в запросах обычно миллиарды записей крутятся, а ты тут - 145 тысяч. Даже не смешно.

ну уж миллиарды

(92) почему мясокомбинат на УПП? ведь специфика производства у вас особая

(94) запросы хороши не тем что крутят лямы записей, а тем что можно оптимальную выборку сформировать

(94) ага, миллиарды. Может на голом скуле/оракле и можно миллиардами вертеть, а на 1С где ты видел запросы с миллиардами строк?

че за компик то клиентский? сколько там памяти, мож ему на венду еле хватает

(99)ноут, 2 гига памяти. запрос то выполняется, вот в эксель сохранить уже не может

придется программно в CSV выгружать

(98) (94) по большому то счету прав. Не должен быть большой расход

(100) мож там какие-то приложения еще крутятся?

всего 30тыщ строк и умирает? у тебя запрос слишком коряво написан

(104) ну йоптыть, уже писал же что 145 тысяч строк и 18 столбцов

(100) погоди, запутал сафсем.

на клиенте тз получается или нет? или проблема с выгрузкой в файл?

ТЗ получается, почти всю память съедает но получается

(107) а теперь код где выгрузка в Эксель в студию

(92) "мясокомбинат же ж" - Хм..  Дело ваше, но это не аргумент.

а как ты посмотрел, сколько памяти съедает. приведи цифирь

(0) я бы выгрузил данные в SQL. Потом в SQL есть SSAS, там построить кубы не сложно. Анализировать легко

(108) Файл - Сохранить как...
(110) в диспетчере 1,4 гига процесс 1С

(112) а до выполнения запроса?
1)
результат = запрос.выполнить();
тз = результат.выгрузить();
результат = неопределено;

2) выборка = запрос.выполнить().выбрать();

(112) Вывел таблицу на экран и руками сохраняешь в XLS? А с чего ты взял, что она в формате 2007 го будет писать, там тупо на 65тыс строк зависает

не верится, что сама таблица гиг памяти жрет

(112) пипец, ты выбрал самый долбанутый метод сохранения в Эксель и кричишь что снеговик тормоз? в клюшках "сохранить как" в Эксель файлика более 3000 строк вообще был ужас, там умные люди писали доктора XML, который сокращал время записи с нескольких часов до нескольких секунд

(112) ручками в ехсел сохраняй

В клюшках вообще нельзя сохранить ехсел на 145 тыщ строк

кстати, народ, в 8.2 построитель отчета остался? как его вызвать?

раньше тут выделяли по несколько тысяч строк и так постепенннно копировали в эксель :)

он бы тс помог бы, имхо. и в ексель не надо было бы выгружать

(115) в реестре венды наверно больше данных, чем в таблице

(119) остался конечно, как вызвать? Новый ПостроительОтчета

(111) Да и "выгружать в SQL" не надо - данные уже там. Просто трансформировать...
ТС выбрал один из самых идиотских путей решения с применеием неподходящего инструмента...

(120) используй построитель отчета. действия - конструктор выходной формы - ыходная форма - построитель

там можно также интерактивно перетаскивать колонки, насколько я помню

скажи ехелю нет :)

(124) предлагаете в скуль базу напрямую обращаться? это надо искать инфу по соответствию полей таблиц...
(126) это в сводных отчетах в 1С можно, но они не подходят, неудобные

(128) а че ее искать? есть даже методы в СП описанные для этого

(128) ПолучитьСтруктуруХранения...

(128) быстрее на сервере сделать выборку, выгрузить в файл и усе

(68) какой объект юзаете ?

(40) - какой объект юзаете ?

(133) см (52)

(52) OWC -
Outdoor Writers of Canada
Orlando Watersports Complex
Ohio Wildlife Center
Other World Computing

что из этого есть OWC? ))

Мы для таких задач обычно пишим хранимую процедуру на серевере, которая получает необходимые данные, и потом результат в возвращаем через внешние источники данных в excel, а дальше хоть сводную, хоть какую таблицу можно делать...

(135) Офис веб компонентс

(137)  а для 2010 офиса такая компонента есть ?

(138) Это отдельный пакет. Вполне себе скачивается с мелкософта.
пор 2010 - там вроде эту часть в шарпойнт передали...

(139) - жаль.

(140) а кто мешает использовать OWC?
с офисом-то это никак не связано...

+(141) вообще, разрабатывалось это для использования на веб-страницах...

(142) - примера не найдется как использовать OWC ? заранее благодарен.

есть еще решение на яве - jPivot, получается доступ через веб, можно в полеHTMLДокумента вставить

и вот такой халявный OLAP-сервер есть, если кому интересно
http://mondrian.pentaho.com/

(143) Создание Куба Олап , например.
http://www.1cpp.ru/forum/YaBB.pl?num=1193394153/0
support.microsoft.com/kb/286320
(144) ровно это же делает OWC.

(49) для выгрузки - это плохой запрос.
Фактически ты выбираешь только ссылки. При формировании отчета для каждой такой ссылки 1с создает представление (уже на клиенте, по факту это запросы в цикле = тормоза). Кроме того следует проверить индексы на связях.
И когда число строк измеряется сотнями тысяч, используй запись в csv или в XML.

в который раз убеждаюсь в правильности фразы "восьмерка разжижает мозг"©

(148) не восьмерка а семерка )) в старой базе у нас юзеры отчеты ждали по часу и думали что это нормально. Перебор по документам практически везде встречаю

(149) Это у вас соотношение радиусов такое...

+(150) у меня оперативный отчет больше 30 секунд - уже повод для стыда (оперативный - это неделя), и санкций.

а виртуальные таблицы оборотов и остатков можно вызывать напрямую с SQL-сервера?

(152) получи текст запроса, да строй...

(8) Делал отчеты до 20 млн примерно строк. Приходилось резать на кусочки из-за двух ограничений: на клиенте 1С ограничение 2 или 4 ГБ в зависимости от ОС (это примерно до 500 тыс. строк), второе - эксель 2007 больше 2 млн не переваривает, а 2003-й вообще 65к.
Всё работает.

сделал щас выгрузку в CSV, 146 тысяч строк - выполнение запроса + выгрузка в файл делаются за пару минут. Правда файл получается 50 МБ

причем потребление памяти снизилось координально :))) думаю можно было бы и 500-700 тысяч строк выгрузить таким образом