Добрый день всем. Поиском искал, но что-то все упирается в "Недостаточно памяти". На Сервере 1с - 60 гигов оперативы.
Задача - распарсить как можно быстрее файл >3 500 000 строк в массив. Пока кроме перебора ничего не работает:(

что за файл?

что-то типа мониторинга состояний(текстовые строки с разделителем ";" и в конце перенос каретки).

v8: Чтение больших текстовых файлов (CSV)

(3) спс. щас проверю:)

Не используй ТекстовыйДокумент, а используй ЧтениеТекста

(5)    
текст в переменную МойТекст записывается нормально.
ТД = Новый ТекстовыйДокумент();
ТД.Прочитать(ИмяФайла,КодировкаТекста.UTF8);
Сообщить("Загрузка из файла.");
МойТекст = ТД.ПолучитьТекст();
(3) тестирую

хочешь массив из > 3 500 000 элементов, каждый из которых целая строка исходного файла?

ЧтениеТекста (TextReader)
Методы:

Закрыть (Close)
Открыть (Open)
Прочитать (Read)
ПрочитатьСтроку (ReadLine)

Конструкторы:

По имени файла
Формирование неинициализированного объекта

Описание:

Предназначен для последовательного чтения текстовых файлов (большой длины).

Доступность:

Тонкий клиент, сервер, толстый клиент, внешнее соединение.
Пример:

Текст = Новый ЧтениеТекста("d:\win.txt", КодировкаТекста.ANSI);
Стр = Текст.ПрочитатьСтроку();
Пока Стр <> Неопределено Цикл // строки читаются до символа перевода строки
   Сообщить(Стр);
   Стр = Текст.ПрочитатьСтроку();
КонецЦикла;

(7) да. много хочу?
(3) Объект 'light_.log' не найден ядром базы данных Microsoft Jet.  Проверьте существование объекта и правильность имени и пути. Передаю путь и имя файла  - корректные.

(6) Сделай (8), будет тебе счастье. 60 гигов массив из такого количества выдержит.

(10) сделал, грузит на секунду меньше.
вопрос не в том, мне "это" потом надо в массив преобразовать без перебора (перебор долгий очень)

О.. могу ЧЖА-метод предложить автору :)

загоняй в скуль через bulk insert и в скуле уже делай с данными что хошь

Средствами 1С такие файлы парсить весьма проблематично.

+(13) и покури COMSafeArray

(12) мне уж пофиг что пробовать с этим файлом :)
(13) загнать в массив это еще полбеды:)

(13) У дураков мысли сходятся, но я знаю как из BULK получить сразу массив... огромный такой массивище :))))

(16) И что же с этой страстью еще потом делать? :)

(18) в каждой строке - есть ИД, вот по нему надо найти минимум и максимум.
Наверное в скуль и прийдется грузить, а оттуда уже запросами.

(16) Да, тоже интересно, что будет дальше с массивом )

(19) И сколько примерно возможных значений идентификатора в файле?

(21) файл весом 250-300 мегов, уникальных ИД от 6000 до 25000

(22) Задача решается последовательным чтением. Полностью в память массив грузить НЕ надо. В скуль тем более.

(22) а после того как найдешь максимум и минимум, что с данными то надо делать?

(24) вывести в документ

так оп мере чтения из файло и формируй если максимумов/минимумов несколько может быть тогда два массива - Макс и Мин, а если это всего два значения тогда просто в переменную запоминай на фига 3500000 значений грузить в массив чтоб потом
МойМассив = Неопределено; сделать

(25) рукалицо если честно

(27) И не говори )

а чо, внешние исчтоники данных для кого писали!?

(27) поэтому и написал на форум:(

вот что случается, когда бухгалтер по образованию становится программистом...

тут 60 Гб оперативы не справятся :-D

(30) А у тебя сейчас за какое время выполняется?

откуда такой файл получается? может проще в ту систему запрос сделать или хранимую процедуру туда приспособить?

(31,32) любитель офф?
(33) по-разному:( но этот файл вообще не грузиться. бывает 200 проскакивает за 30 минут

(34) нее. там робот тупо логи пишет по текущему состоянию. думл уже об этом.

(36) так пусть он тупо пописывает еще и в скуль

шо за прога?

(37) у меня места столько нет на жестком под эту базу:), таких файлов может быть 2-3 в день. а бывает что иногда перегружают по нескольку раз один файл (типа коэффициенты и прочие условия наложения на каждую строку). вообщем сложный подход через рукалицо)
(38) самописка на дотнете (C#)

+39 некоторые логи вообще не нужны

(39) Так допили самописку, чтобы сама выдавала минимумы и максимумы в он-лайне

(35) Странно как то.... Затестил:

Процедура КнопкаСформироватьНажатие(Кнопка)
   Сч=0;
   Сообщить("Начало: "+ТекущаяДата());
   Текст = Новый ЧтениеТекста("D:\Temp\111.txt", КодировкаТекста.ANSI);
   Стр = Текст.ПрочитатьСтроку();
   Массив=Новый Массив;
   Пока Стр <> Неопределено Цикл
       Стр = Текст.ПрочитатьСтроку();
       Массив.Добавить(Стр);
       Сч=Сч+1;
       Если Сч%50000=0 Тогда
           Состояние(""+Сч);
       КонецЕсли;
   КонецЦикла;    
   Сообщить("Окончание: "+ТекущаяДата()+" Обработано: "+Сч+" строк");
КонецПроцедуры

Получилось:
Начало: 29.11.2012 17:27:24
Окончание: 29.11.2012 17:28:05 Обработано: 3 000 000 строк

тогда пробуй это безобразие в кашэ влупить

(42) не не не:) я его хотел сразу из файла в массив вывалить, без построчного чтения:)
(43) а можно ссылкой кинуть что почитать на эту тему?

(42) размер файла какой?  у меня строка в среднем где-то 30-40 символов каждая в этом файле.

wiki:Cach%C3%A9

спс, ща гляну:)

(45) 385254 КБ
В нем строки вида(матофильтр не пропускает): От балды набираем на клавиатуре. Длина строки 130/131 символ. Количество строк 3 млн.
Чем тебе 30 секунд перебором не устраивает?

Вру, 40 секунд :)

(45) вообще-то перебор - это самое быстрое. Думаешь в остальных методах оно тебе из воздуха будет строчки со скоростью света засасывать?

(49) ща скажу сколько у меня перебирается:)
(50) готовые методмы (типа Найти у массивов/тз) быстрее чем перебор на языке 1с:)

*методмы = методы

(51) Так будет правильнее:

   Пока Стр <> Неопределено Цикл
       Массив.Добавить(Стр);
       Сч=Сч+1;
       Стр = Текст.ПрочитатьСтроку();
       Если Сч%50000=0 Тогда
           Состояние(""+Сч);
       КонецЕсли;
   КонецЦикла;

(53) перебор:  82 секунды, в массиве: 3 634 746 элементов

(54) Как то не коррелируется с (35)  :):):)

(оффтоп)
Прогнал (42), включив замер производительности
Что заметил любопытного:

Массив.Добавить(Стр);    3 872 751    6,860903    16,19
Сч=Сч+1;    3 872 751    5,248156    12,39

Т.е. Массив.Добавить() всего в полтора раза медленнее чем Сч=Сч+1

(55) в (35) имеется ввиду уже со всеми преобразованиями

(56) А если убрать

Если Сч%50000=0 Тогда
           Состояние(""+Сч);
       КонецЕсли;

то еще быстрее будет. :)

(58) С этим все понятно, но добавление в массив меня удивило

(57) В топике: "Задача - распарсить как можно быстрее файл >3 500 000 строк в массив."

А уж что ты там преобразовываешь - это отдельная песня.

(60) ну я сказал что имел ввиду в (35).

Ну видно он как-то очень не торопясь строки эти разбирает.
Причем так, что проблема с памятью образуется.
Ибо без этого все хорошо -->(54)

там был косяк в СтрПолучитьСтроку(строка, номер)

(63) читал весь файл в строку и потом 3 миллина раз СтрПолучитьСтроку? ;D

я так понимаю она и была всему виной. всем спс:)

(63) аха:) было так:)