Добрый день, коллеги.

Есть обработка которая в делает следующее:

1) Подключается к sftp серверу
2) Получает таблицу csv, копирует её в темп
3) Получает из неё таблицу значений
4) Загружает данные

на текущий момент необходимо следующее:

Подключиться к таблице csv и не заливая её на пк клиента - отфильтровать и сделать таблицу значений.

Вопросы:

Можно ли подключиться на sftp сервер сразу к файлу в режиме чтения?
Мы обрабатываем csv через текстовый документ, есть более простые и(или) быстрые методы сделать из csv таблицу значений?

И, что важно - отфильтрованной сразу...

если сервер сможет такое выдать - то легко, если нет - тянуть файл и обрабатывать на месте

Через ADO. Но "не заливая её на пк клиента" не выйдет никак, хоть ты тресни. Так или иначе будет качаться.
Что мешает в темп сохранить, прочитать и выпилить?

(2) Что значит "сервер сможет выдать" ?

FTP-сервер выдаёт файл в порт или весь или его часть.
То есть вам нужно просто открыть порт на чтение и прочитать файл в память, обрабатывая его.

(3) Хочется ускорить процесс... Файл весит 20 мегов, качать его через инет...

(4) отправил запрос на сервер - получил ответ, то и значит

(6) Все 20 метров по-любому будут качаться.
Через ёксель можно легко сделать из csv таблицу ёксель.

(7) Такого нет

(6) Он у тебя один фиг скачается. Так что кидай во временные, читай через ADO и удаляй после этого

(6) FTP-сервер не занет таких команд как преобразовать csv-файл в таблицу значений 1С. Почитай описание команд FTP-сервера
OFF: такая длиная цветная палочка

Через ADO - быстрее всего?

(11) да это понятно...
Я имел ввиду - просто получить файл в режиме чтения не закачивая.

НЕ ВЫЙДЕТ

А обязательно фтп? Может, тут webdav поможет?

а если на сервере сохранять файл сразу в нужном формате, а не как попало?

а сжатие?

(12) Лучше все сравнить экспериментально. Т.к. все зависит от данных, в каких-то случаях быстрее АДО, в каких-то чтениеТекста. Даже если АДО быстрее, разницу съест перемещение из рекордсета в ТЗ. Разве что отбор можно сделать SELECT'ом

(13) в случае FTP получить файл = закачать

Ок, спасибо - попробую.

Не подскажите, почему все колонки кроме первой пустые получаются?

вот текст:

"Раз";"Раз";"Раз"
"Раз";"Раз";"Раз"

КолПолей = 3;

ДатаНач = ТекущаяДата();

Папка = Параметры.Папка;
ИмяФайла = Параметры.ИмяФайла;
КолПолей = 3;

Текст = "[" + ИмяФайла + "]

|ColNameHeader=false

|Format=Delimited(;)

|TextDelimiter=none

|CharacterSet=ANSI

|";


Текст = Текст + "Col" + 1 + "=Field" + 1 + " text" + Символы.ПС;    
Текст = Текст + "Col" + 2 + "=Field" + 2 + " text" + Символы.ПС;    
Текст = Текст + "Col" + 3 + "=Field" + 3 + " text" + Символы.ПС;    

Сообщить(Текст);

ТекстДок = Новый ТекстовыйДокумент;
ТекстДок.УстановитьТекст(Текст);
ТекстДок.Записать(Папка + "Schema.ini");


objRec = Новый COMОбъект("ADODB.Recordset");

strQuery = "SELECT * FROM [" + ИмяФайла + "]";
strConn = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Папка + ";Extended Properties=""text;""";
adOpenStatic = 3;
adLockOptimistic = 3;
adCmdText = 1;

ТаблЗнач = Новый ТаблицаЗначений;
Для ы = 1 По КолПолей Цикл    
   ТаблЗнач.Колонки.Добавить();    
КонецЦикла;

objRec.Open(strQuery, strConn, adOpenStatic, adLockOptimistic, adCmdText);
КолСтрок = objRec.RecordCount;

Ном = 1;

Пока Не objRec.EOF Цикл
   
   Если Ном % 500 = 0 Тогда
       
       Состояние(ИмяФайла + " " + Ном + " из " + КолСтрок);
       
   КонецЕсли;
   
   НовСтр = ТаблЗнач.Добавить();
   
   Для i=0 По objRec.Fields.Count-1 Цикл
       
       НовСтр[i] = Строка(objRec.Fields(i).Value);
       
   КонецЦикла;
   
   objRec.MoveNext();
   
   Ном = Ном + 1;
   
КонецЦикла;

objRec.Close();

Сообщить(ТекущаяДата()-ДатаНач);

TextDelimiter=none - не?

Там так и есть, а что должно быть?

Делал по первому примеру: http://infostart.ru/public/98398/

коллеги, нет мыслей на тему? Уже час бьюсь.... (

Проблема ещё актуальна.

Блин, там же в форуме был ответ...

нарисовать морду на php к этому файлу

(27)+ расположенную на том же сервере...

v8: Обработка csv файла около 300 000 строк.

смотри 26

(29) ну и говнокодище

с уже готовым csv хорошо работает ADO, если его долго качать - то только сокращать количество качаемых данных через фильтры на стороне сервера - а это в любом случае морда на сервере

zip уже предлагали?

(30) И чем тебе код не нравится? Обычный автомат, переписанный.
Ну здесь ты не зависишь от ADO

(33) не нравится тем, что от него кровь из глаз идет.

(34) А это от того, что ты с автоматами не работал. Или тебе все пояснять надо? От регулярных выражение поначалу реки крови текут.

а вообще - регулярка \".+\"|[^,]+ разве не разрубит на правильные куски строку?

(35) я со всем работал. все понимаю. но от смешения языкаов типа  "if ... тогда", не нужных пробелов строк, неправильных отступов - течет кровь из глаз.

(36) не все случаи отрабатывает, но можно раскрутить до правильных случаев

вернее до правильной обработки всех случаев

(36) Для примера напиши разбор такой строки
","""",""",10

Здесь всего два элемента
,"","
10

(37) Это перепись с C# и адаптация к 1С

41 А вообще первоначально это код на Delphi Бакнелла

(0) Поднять на сервере MySQL, закачать файл в неё и тянуть уже из MySQL запросом?

(40) вот такое вроде работает:

(\"([^"]|\"{2,2})*\")|[^,]+


проверял с помощью http://infostart.ru/public/75941/

(44)+ у результата, естественно, заменить "" на "

(45) пробовал http://regexpres.narod.ru/calculator.html
Ну да ладно. Знаю, что регулярные выражения не все автоматы описывают, но они становятся все мощнее.

",22"""",""",10 не отрабатывает
Должно быть
,22"","
10

(46) обработка с инфостарта пилит правильно

(47) опять же учитывая необходимость удаления экранов " и ""

да и сайт тоже нормально ищет, просто там надо пробелы удалить сначала и конца, а также поставить "глобальный" поиск. видно, что по "replace" остается только одна запятая - это как раз разделитель.

что мешает обработать этот csv на сервере и отдать нужное?
как вариант на php:
date_default_timezone_set('Europe/Berlin');    
$pattern = sprintf('#%s.*|%s.*#', date('d/m/Y'),
                                 date('d/m/Y', strtotime("+1 day")) );
$file = file_get_contents('filename.csv');
preg_match_all($pattern, $file, $matches);
var_dump($matches);

(48) Ну вот видишь экраны нужно убирать. Так или иначе все равно на регах строится  КА . В свое время опять же Бакнеловские примеры переделывал с таблицей переходов создавая НКА.