Новый сервак запустили. 64 процессора =, 128 гиг оперативы, 16 дисков ссд.

Тока шо отчет выкрутил (где то за минуты 2 выкрутился) Ничо так, некисло получилось.
Отчет по продажам в разрезе номенклатуры.

На печать получилось 15000 листов (ну там правда одна странице на две по ширине)

та. так не интересно. нужен перегон с одного в другое. 1с тут храмает. но если использовать внешние источники данных ? ась ?

(303) надо смотреть и тестить, ибо можно наткнуться на грабли. та же вК от Душелова - при первом же прогоне порадила у меня сразу нескольо вопросов. часть из них отпали, часть осталась (сейчас уже не помню.. возможно в комментах на Исе инфа осталась)

(306) речь идет о том, что чтение иэ экселя - медленное. при потоковой обработке значительных эксельных объемов - это будет существенный тормоз.

(306) время

СТоп!
Ав восьмерке же есть один метод который позволяет целиком экселевскую таблицы выгрузить в 1Сное табличное поле. и дальше мы можем это поле тупо загнать в ТЗ встроенным чтением родного поля.

(306) Какое время? На что?

почти
  Для Счетчик = 1 По RowCount Цикл
           НоваяСтрока = ТЧДанных.Добавить();
       КонецЦикла;
       
       //Заполнение Тч данными

       Для Счетчик = 0 По ВсегоКолонок-1 Цикл
           ТЧДанных.ЗагрузитьКолонку(Данные[Счетчик], "Колонка"+Счетчик);
       КонецЦикла;

(311) хрен его знает как он этот эксель читает... проверять надо, может так и прокатит по скорости.

ты походу не то указал. обычное на обработку

табличное поле 1Ски родными методами прочитывается как два пальца и влет.
Главное это тупо эксель загнать в него 1Ской просто получив файл и выгрузив его в табличное поле.

ну вот пример. ептить
Процедура Загрузить() Экспорт
       ExcelФайл = ПолучитьCOMОбъект(мВыбФайл);
       Состояние("Обработка файла Microsoft Excel...");
       // Читаем данные первого листа книги

       Попытка
           ExcelЛист = ExcelФайл.Sheets(1);        
       Исключение
           Предупреждение("Файл открыт, закройте его!!!",,"ОШИБКА");
           Возврат;
       КонецПопытки;
       //

       RowCount     = 6500;
       ВсегоКолонок = 3;
       НомерПервойКолонки = 1;
       //

       СоздатьТЧДанных();
       //Обратаем всю область данных

           Область = ExcelЛист.Range(ExcelЛист.Cells(1,НомерПервойКолонки), ExcelЛист.Cells(RowCount,ВсегоКолонок));
           Данные = Область.Value.Выгрузить();        
       //Создание пустых строк по RowCount    

       Для Счетчик = 1 По RowCount Цикл
           НоваяСтрока = ТЧДанных.Добавить();
       КонецЦикла;
       
       //Заполнение Тч данными

       Для Счетчик = 0 По ВсегоКолонок-1 Цикл
           ТЧДанных.ЗагрузитьКолонку(Данные[Счетчик], "Колонка"+Счетчик);
       КонецЦикла;
       Создать();
       ExcelФайл.Close();
КонецПроцедуры

//------------------------------

Процедура СоздатьТЧДанных()
   
   // Создание описателя типов для таблицы значений

   //КЧ = Новый КвалификаторыЧисла(15,2);

   КС = Новый КвалификаторыСтроки(50);
   Массив = Новый Массив;
   Массив.Добавить(Тип("Строка"));
   ОписаниеТиповС = Новый ОписаниеТипов(Массив, , КС);
   //Массив.Очистить();

//Массив.Добавить(Тип("Число"));

   //ОписаниеТиповЧ = Новый ОписаниеТипов(Массив, , ,КЧ);

   
   // Очистить предыдущие значения

   ТЧДанных.Очистить();
   ТЧДанных.Колонки.Очистить();
   
   // Создать колонки табличного документа

   ТЧДанных.Колонки.Добавить("Колонка0",ОписаниеТиповС,"Х");
   ТЧДанных.Колонки.Добавить("Колонка1",ОписаниеТиповС,"ХХ");    
   ТЧДанных.Колонки.Добавить("Колонка2",ОписаниеТиповС,"ХХX");
   //ТЧДанных.Колонки.Добавить("Колонка3",ОписаниеТиповС,"ХXXX");

   //ТЧДанных.Колонки.Добавить("Колонка4",ОписаниеТиповС,"Норматив");

   //ТЧДанных.Колонки.Добавить("Колонка5",ОписаниеТиповС,"Х");

   //ТЧДанных.Колонки.Добавить("Колонка6",ОписаниеТиповС,"Кво");

       
КонецПроцедуры

грузим колонку а не область. вот тут лажа

(312) на тупое чтение значений из экселя.
я не спец по доступу к данным, другие методы (не ОЛЕ) может и намного быстрее работают.. через рекордсеты и прочее..

(314) дак я туплю у меня в обработке так и используется. Есть один важный косяк!
например если идет в колонке наименование с " - 1Ска берет почему то эту строку разбивает на две.
Причем давний косяк я на него так и не нашел ответа. что только не делал. даже поячеисто этот баг есть.
Также еще бывает и с числовыми колонками тоже непомню в каком случае - пришлось писать целую обработку чисел.

Я помню на ИС какую то обработку скачивал - она эксель в xml переобразовывала и считывало - работает мегабыстро - но косяк - это относится только кажется к файлам 2003 офиса.

(320) вэлью и текствое представление - могут отличаться принципиально.
как не пытался написать универсальный загрузчик - бяка. в итоге практически под каждого поставщика своя загрузка/плугин по загрузке файла

МНе надо найти решение под все. Тк планируется полностью автоматизированная загрузка, хочется максимально универсально и быстро. Я и платное готов взять если такое есть.

аборигены это вам.
Процедура кПоискНажатие(Элемент)
   
   Если ЗначениеЗаполнено(БуквКодКузова) и  ЗначениеЗаполнено(ДиаПазонОт) и ЗначениеЗаполнено(ДиаПазонДо) Тогда
       Состояние("Фомирование списка по диапазону моделей");
       лДиапазон = СокрЛП(СтрЗаменить(СокрЛП(БуквКодКузова),"*","%"));
       лКолНач = ДиаПазонОт;
       лКолКон = ДиаПазонДо;
       масКузова = Новый Массив;
       Пока лКолНач <= лКолКон Цикл
           лКодСтрока = СтрЗаменить(Строка(лКолНач)," ","");
            масКузова.Добавить(лДиапазон+лКодСтрока);
            лКолНач = лКолНач+1;
       КонецЦикла;        
       Поиск();
   Иначе    
       Предупреждение("Не задан диапазон машин");
   КонецЕсли;
   
КонецПроцедуры

Процедура Поиск() Экспорт
    Состояние("Поиск и формирование таблицы машин по диапазону");
    Запрос = Новый Запрос("ВЫБРАТЬ
                          |    Авто.Ссылка КАК Авто,
                          |    Авто.Кузов,
                          |    Авто.ПоследнийВладелец КАК Клиент
                          |ИЗ
                          |    Справочник.Авто КАК Авто
                          |ГДЕ
                          |    Авто.Кузов ПОДОБНО &Кузов
                          |    И Авто.ЭтоГруппа = ЛОЖЬ
                          |    И Авто.ПометкаУдаления = ЛОЖЬ
                          |    И Авто.Родитель В ИЕРАРХИИ(&Родитель)");
                         
   ы = 1;
   Для каждого СтрМас Из масКузова Цикл
       Запрос.УстановитьПараметр("Родитель", лРодитель);
       Запрос.УстановитьПараметр("Кузов", СтрМас);
       Выборка =Запрос.Выполнить().Выбрать();
       Если Выборка.Следующий() Тогда
            лСтр = ТЗАвто.Добавить();
            лСтр.Авто = Выборка.Авто;
            лСтр.Кузов = Выборка.Кузов;
            лСтр.Клиент = Выборка.Клиент;
       
       КонецЕсли;
       ы = ы + 1;
       Если ы%50 Тогда
            Состояние("Обработано - "+ы+ " из "+масКузова.Количество()+"");        
       КонецЕсли;
    КонецЦикла;
    // = Запрос.Выполнить().Выгрузить();
КонецПроцедуры

Заметил что моно массив но все таки.

(319) Ну не знаю, какое уж вам подойдет... Ну вот так можно, с MSSQL
http://support.microsoft.com/kb/321686/ru

проблема в поиске такая что известно что а=10, и в ней 5 элементов любой элемент. то есть АААХУЧСМИТ

(325) подошел бы, если бы еще не стояла ситуацция с тем что надо чтобы и без СКЛ можно было работать и даже без эксель. Наверное придется варианты делать и настроек.

(327) И так и так придется делать варианты:) У нас были подключены некоторые файлы как раз как удаленные серверы.

(314) Разве не той-же олей?

(326) эхх мне бы твои проблемы) вернее на моем проекте все очень легко с поисками - все чистый артикул + производитель = уникальность.

А вот есть клиентура - торговля компьютерной техникой - там полный звиздец. Прайсы - никаких артикулов нет, модели не дают идентификацию - прайсы люди получают многотысячные, единственное чем можно оперировать только наименование - а они в комьютерной технике просто звиздец полный - на 200 символов в скобках содержат все характеристики - например у ноутов - там просто сказка и отличия просто невероятные)

(282) 95, 2003 и 100 килострок? Кто-то звиздит ...

+ (330) и то правда одного и того же производителя пять поставщиков называют по разному. еще их сопоставлять и хранить надо. Валюты каждый пишет как захочет. буквой, символами  и тп и тд. кто то отдельно колонкой кто то в цену впиндюривает с числом в конец или вначало валюту.
Единицы измерения то вообще - таже сказка. Это еще хорошо что весь шт. но ведь и упаковки тоже надо загружать.
Бонусы там всякие в прайсе, спецпредложения. Еще надо и загружать сроки по каждому товару в отдельности.
Вес и еще кучу всякого добра типа расчета сразу затрат на транспорт по поставщику, товар в зависимости от веса или объема.

(331) а чо кто то листами ограничивает?

есть поставщики которые шлют сразу 4 прайса. с наличием с разных городов доставки. там тоже песня еще та.

(323) > Тк планируется полностью автоматизированная загрузка, хочется максимально универсально и быстро.
- не выйдет. в общем случае - не выйдет стопудово. в итоге придешь к системе универсальной загрузки с набором плугинов для разборки специфичных прайсов (потом не забудь отстегнуть мои 2%).
.
совершенно аналогичная ситуация на загрузке прайсов по компдискам. порядка 20 прайсов обработал - нет ни одного в точности повторяющего другие. даже при более-менее универсализации подхода. у каждого поставщика (а это еще те "поставщики") - в прйасах свои извращения.

(0) Омистинеть! Ни один человек не способен проанализировать 520 тыс. строк

(0) дак маня, нах тебе отчет?
Пока жи им "Вывести список" регистра накопления - пусть анализируют, куле...

строка отчета у автора стоит 57 копеек, отсюда и 520 тыщ строк

(0) Круто! А нафига это нужно?

Напомнило анек:

Международная конференция ларингологов. Собрались врачи «ухо-горло-нос» со всего мира. Рассказывают о новинках диагностики, лечения… Выступает профессор из Советского Союза. Показывает, как можно удалять гланды через задний проход. Операция необыкновенно сложная, изощрённая, опасная. Все смотрят, раскрыв рот. Потом обрушивают на докладчика поток вопросов. Мол, а зачем это нужно – удалять гланды через задницу, если давным-давно отработана в тысячу раз более простая методика удаления через горло.

-- Понимаете, у нас в стране всё принято делать через жо-пу, -- с достоинством отвечает профессор, -- а вот удалять таким образом гланды не получалось много лет. И, наконец, получилось! Впервые в мире!! Я считаю это огромным достижением советской науки. Ведь никто не умеет делать того, что делаем мы!!!

(6) "люди хотят потом в экселе что то чудить с этим добром) и выгрести в итоге с отсеиваниями по своим каким то критериям только 10-20 тысяч товаров"
Хм. Не знал, что у тебя отчеты через ВывестиСекцию пишутся. Про СКД слышал что нить? Вот и научи юзверей своих. Чо за садомазо при наличии отчетов на СКД выгружать их в эксель и накладывать там фильтры...

Маня-молоток,гнет свою линию не взирая на стереотипы.Все правильно-нас ипут,а мы крепчаем.Не ошибается тот,кто ничего не делает!

Написал только для того, чтобы потом найти тему с моим участием и показать на работе. ))

У нас на предприятии сделали мегапортянку - отчет из всей номенклатуры + туева хуча показателей сразу. В ширину 2*А2, в длинну 10*А2 (прибл.) В общем ковер. Посмотрели на него чуток и так и лежит где то он..

(6) Епта, вывалить бабло за 1С, внедрение, сервак, маньяку за его отчет и в итоге все выгружается в эксель и что-то там считается *рукалицо*

Знаю одну фирму, которая работает на Аксапте. У них ночью формируются "кубы для анализа". Анализируется все в Экселе.
Но это Аксапта. В 1С можно анализировать и не выгружая.

Еще один момент: для серьезных анализов используется серьезное ПО. Всяческие Маркетинг-Анализинг или штатный Analysis Services в SQL.

Завод по производству черновиков.
Заводика с логанами походу недостаточно )

Прочитал только начало темы, далее не смог
Имхо, имеем квинтэссенцию идиотизма - выгрузка из СУБД в эксель огромных данных для анализа и загрузка обратно. Вместо задачи анализа активно решается идиотская задача импорта/экспорта.

Ахаха, поже ведь еще и сервер купили дорогой специально, чтоб была возможность в эксель выгрузить. Ох щит

признаки разума у отчете уже обнаружены ?

(346) На самом деле инструменты BI гораздо удобнее отчетов 1С. Они и шустрее, и "изобразительные" возможности лучше. Плюс многие имеют интересные алгоритмы ассоциативного анализа. 1С - это оперативная отчетность, рабочий инструмент. Возможности его очень расширились СКД и встроенными аналогами кубов, но все это не совсем то.

(348) или в опу)

иди..

(352) Вы повторяетесь.

(348) дак чел не чего больше не умеет, как только гонять данные из одной таблицы в другую, да еще корявым клюшечным способом

+355 предлагаю его сравнить с программистами парадокса

маня-парадокс - звучит :)

активность нашего населения поражает .. какие то миллионы строк продаж, куча каких то транзакций. Приезжаешь в европу .. и видишь один большой магазин , три поменьше и много маленьких . Какой нибудь фнак торгующий электроникой размером с наш средний продуктовый магазин. И как живут люди не понятно.

(357)  Бинго! Жжешь

(0) Сумашедший

(358) они лохи педальные, не чего не понимают. Вон маня-парадокс тему говорит. Надо закачивать тонны прайсов, милиарды строк анализировать, отчеты насотни тысяч страниц печатать, фурами вывозить и по 5 лет читать (когда нах уже эти отчеты не нужны

(0) 15000 листов - это не отчет
Это реестр, список, простыня.

Отчет должен занимать 1-3 лист а4
Иначе он нечитабельный.

(0) Теперь мы знаем к кому обращаться, если нужен крутой сервак.

Мань, дай айпишник для подключения к серваку. Мне надо из базы удалить 22 млн. записей.

Да не фига вы не понимаете! Тут такой полёт цифр: 64 процессора, 128 гиг оперативы, 16 дисков ссд, +100500 тыщь строк отчета... Эээээх, есть где разгуляться!!! Маня-парадокс, жги есчёёёё!!! :)))

Меня бы больше впечатлили другие цифирки. Например, количество одновременно проводимых документов в базе или понижение в два раз временных затрат на проведение какого-нибудь "Закрытие месяца" на том же самом железе...

P.S.: тема очень популярна. Народ сидит, жуёт попкорн и жаждет продолжения. :)))
P.P.S.: и таки да, я тут отметился только лишь для того, что бы быстро находить эту тему.

(351) Вот и я про то же.
Когда-то, давным-давно фирма разработала платформу для организации учета: оперативного, бухгалтерского. Это было круто. Это было актуально.

Сейчас фирма 1С пытается выйти за рамки, которые сама же установила. Но, че-то как-то не очень у нее получается. Взять тот же документооборот или ITIL. На 1С - это нечто...  То же самое касается и анализа данных.

Я вижу один вариант использования - предосталять отчетность в налоговую. Весьма актуально для финансовой организации - они: "А вот предоставьте нам отчетик по операциям за месяц", и ты им отправляешь газельку с отчетом...

Отчет в качестве тяжкого наказания работникам. Заставить прочитать за какой-нить косяк.

(366) Чё ржёшь то? Никогда не сдавал в налоговую или в банк отчет в десяти коробках? Мелкота. Кто уж их там читает не знаю, но попробуй не сдать.

(366) В больших организациях делается так: приходит налоговая и говорит: А предоставьте, нам пожалуйста, три-четыре рабочих места и доступ к вашей базе данных. Так что, забудь про газельку.

(369) не чего подобного газельки (а иногда и бычки) до сих пор практикуются

(6) нда. столь криворукой реализации аналитической отчетности мне не встречалось. поздравляю.

(0)НАмекни, как практически воспользоваться отчетом на бумажных носителях такого обема? 15 000 листов о_О

Какой смысл в распечатывании ?

(372) сколько *оп можно вытереть, если помять посильнее - пол-ростова спокойно удовлетворятся на месяц

(0) а на какой срок использования расчитаны SSD винты?

(374) Серверные рассчитаны на 5 лет

у меня отчет на сервере намного проще по дебиторке, плану платежей, просрочке (с графиками платежей (!)) по овер 100к контрагентов формируется нормально на куда более скромном железе. если отчет требует 100500 соединений, требуется каждый день и формируется по пол часа, то следует подумать о денормализации - и все пройдет. автору учить олапы всякие, хотя бы общие принципы

(376)+ правда как правило тот отчет выводится в разрезе - сколько всего сумма незакрытых сделок, сколько уже заплатили, сколько заплатить еще должны, сколько просрочили, сколько по периодам заплатят в ближайшие месяцы

(377) ну и отдельный отчет по неплательщикам более месяца - для СБшников и коллекторов

Чет ветка заглохла, пишите еще.

(379) Легко - у меня тоже 22.., пардон, 6 процессоров на домашней машинке. А с гипертрейдингом 12.

Во я лошпедос, мне и двух некуда девать, солить их что-ли?

(381) Вот этим Вы и отличаетесь от нас, кАнкретных пацанов... :))

(382) Тем что лошпедос, да? Верно понял суть?

(370) +1

Пытаемся сейчас на электронный документооборот перейти.

+(384) Между организациями.

Забейте. Налоговой нужны черновики.

А вы Маньяка не брали на мистовстречу.. многое потеряли

(387) ты думаешь я бы пошел на встречу с кучей дятлов? с дуба рухнул.

с ботанами сидеть дешевое пиво пить и жрать какие то дешевые потроха. нафуй надо.

(388) Не, это они с тобой пошли бы

(0)-(390) Всего не читал, но осуждаю :)

Маня, не ты ли был автором про какие-то морепродукты? Лень искать топик

(392) ага стоимость банки крабов 5000 рублей как вся стоимость мистовстречи.

Я исключительно хожу на мероприятия и банкеты где десять штук пропить как нефиг делать.

(394) Ты мой кумир!

(393) Ну тебя наипали, мы продаем "Краб, мясо, 1-я фаланга (Экстра), с/м, Россия" за 2400, это еще закупочная у них 1700. Так что там напихали в банку, сложно сказать)

И да, как ягуарчик, так же злоупотребляем? Минздрав не одобряэ

Забыл сказать, цена за кг

(396) Просто ты завидуешь Евгению!

Короче говоря, каждая ветка шедевральна, завидую.

(398) Да-да, написал не видя сообщения.
Засим, разрешите откланяться.

(400) а вот четыре сотни тысяч!

(401) Не взлетело.

(402) Ну я же не Maniac!

фигня вот введут перечень жизненнонеобходимых продуктов (по типу потребительской корзины) и обяжут не превышать допустимую наценку (как в фармации на ЖНВЛС)

(404) Когда крабэ стали жизненнонеобходимыми?

ты купил машину?