Есть ксв файл из двух колонок: товар, список аналогов
120млн строк. Насколько быстро/медленно будет выполняться запрос через ODBC к таком файлу если в результате там выйдет гдето 50-100 строк?
У кого-нибудь есть опыт в сабж?

цсв - это несерьёзно.
Это текстовый файл. Только чтобы его прочитать - уже уйма времени уйдёт

(0)всё будет определяться скоростью диска
зачем так мучиться - может запихнуть файл в скульную таблицу?

(1) зачем читать? создал коннектор в одбс. запихнул туда запрос и прочитал. в 1С придет только результ скуля в 100 строк

(2) это как?

если запрос простой - то примерно равно времени чтения этого файла с диска

(3) А что, коннектор не будет всё читать?

лучше всего awk скорость будет равна скорости чтения с диска

(6) вот хз. мне нужен опытный чел. кто знает.
(5) пробовали? в принципе это быстро должно быть.
(7) что такой awk?

(0) А откуда взялся такой csv?

(8) Подумай головой - чтобы получить данные из файла - его надо прочитать...
Индексов же неу

(9) таблица аналогов автозапчастей

(10) я читал большие файлы в 90000 строк за 1-3 секунды эксельные. там тоже не было индексов. по идее одбс динамически должен делать индексы при чтении внутри себя.

(11) Т.е. поиск будет частый. Однозначно - в SQL, и правильно настроить индексы.

(12) Эмм, а чтобы построить индексы разве не нужно сначала прочитать ВЕСЬ файл, потом индексы все рассчитать и сохранить. Построение индекса - это не волшебство, а дорогая операция.

Ну 120 не пробовал, а вот порядка 10 было. Для объединения данных записывались в темповую таблицу порядка 2 минуты

Стр=Стр+"
     |"+СтрСелект+"
     |INTO #TempPrice
     |FROM OPENROWSET( BULK N'"+ФайлСПрайсом+"',
     |FORMATFILE = N'"+ИмяФайлаФрмата+"',";
     Если НачальнаяСтрока>1 Тогда
         Стр=Стр+"
         |FIRSTROW = "+НачальнаяСтрока+","
     КонецЕсли;
     Стр=Стр+"
     |CODEPAGE = '1251'
     |) AS a";

Ну а если нужны только первые строки то, чтение текста и

http://catalog.mista.ru/public/371887/

odbc не делает никаких индексов на csv

(8) awk это консольная утилита такая

быстрее awk ничего не будет

(15) Можешь дать весь код по запроса по тексте через ODBC ?
Сколько ни брал примеров из интернета - ни один не взлетел :(

(20) Набери в гуле openrowset csv получишь кучу примеров

Народ. А темповая таблица в 120млнстрок без 1С-Сервер взлетит?

(0) Это разовая операция или постоянно будет нужна?

(23) постоянно. клиент звонит ищет запчасть манагер делает запрос по артикулу и ему выдаются аналоги

(24) Поставь скуль. Загрузи в табличку файл. Поиск будет достаточно быстрым. Файл аналогов же не каждый день обновляется

(25) + 100

Если постоянная, то скуль однозначно

(0) Посмотри тут Книга знаний: Преобразование csv в таблицу значений

(28) + или тут http://catalog.mista.ru/public/98398/

(25) кстати да.. а какую посоветуешь халявную скуль? интербейз какой нибудь?

(28) 120млн записей в файловую УТ11?

(30) MSSQL подойдет

(30) Да, мсскуль экспресс

(33) 12млн? а файрберд?

(34) В скуле есть уже импорт интерактивный .  Мышкой пощелкаешь  и все.

Express в части юзабилити от  Ent не отличается . Удобно .

(35) в каком скуле?

(36) а да. экспресс вроде не ограничивает размер таблиц а только количество пользователей

(38) Ограничивает. Чтото типа 10 Гб и ограничение на использование ресурсов компа

(39) то бишь придется файрберд юзать

(40) Зачем? Табличка будет меньше 10 Гб, а ресурсы... Там сервак разве? Ресурсы обычного компа экспресс выжрет и не поморшиться

(41) оыбычный комп. плюс если клиент захочет грузить несколько кросстаблиц от разных поставщиков то еще больше файлы будут

(42) можешь под каждого поставщика отдельную базу сделать и все влезет в express

(42) Там от силы гигабайт-два будет.

Давай свой файл, проверим.

Обычный комп ничем не отличается от сервера.

Файберд потянет вполне. Поставить клиента для него и тягать данные запросом, работать будет очень быстро, я так данные из ПЕРКО за год могу проанализировать по сотруднику или сотрудникам, выборка пара миллисекунд и потом перекачка в 1С ТЗ.

Фигня

Сомнительно что контора, которая может для клиента притаранить любую запчасть из 120 млн - и не может найти спеца для решения этой задачи?

Есть у меня один хомячок в питере на автозапчастях - както на клюшках умудряются клиентов по запчастям при схожей схеме обслуживать

Есть еще варианты с NoSQL
http://ruseller.com/lessons.php?rub=37&id=2409
Виндовый вариант взлетает мигом и без установки. Первоначальная заливка будет довольно долгой, если не использовать пакетный режим. А поиск должен быть мгновенный.

(48) Таких контор пруд пруди. Работал, знаю.

(48) твой характер соответствует твоему нику :)
(42) спасибо. Я уже все понял :)) жду заказа теперь

(49) слишком замрочено. думаю на мсэкспрессе остановлюсь ну или фб :)

(48) < и не может найти спеца для решения этой задачи? >

они запчасти продают, бабло зарабатывают, а тут ктото кнопочки нажимает, ничего не делает, и требует денег как за полугодовую зарплату? неее...лучше в экселе и ручками.

(52) дело вкуса)) как прогрузишь в sql, будь добр, напиши здесь цифры: скорость заливки и скорость поиска. Думаю, почти всем отписавшимся любопытно.

(54) врядли интересно. заливаться будет один раз в день. не думаю что больше 5 минут. А скорость поиска через ОДБС вообще будет копеечная. там две колонки всего айди запчасти и айди аналога.

(55) Индексирование еще забыл.

(56) ну со времен фокспры майкрософт как-то их научился на лету строить... и довольно быстро

(55) Тогда заливать лучше через Merge

(58) это как?

Вопрос на засыпку какая длина строки в байтах?

Пример
NAME_PARTS;mainART_BRANDS;mainART_CODE_PARTS;TTC_ART_ID;BRANDS;CODE_PARTS;CODE_PARTS_ADVANCED;KIND
"Труба выхлопного газа";"DINEX";="15110";3;"BEDFORD";="91056091";="91056091";3
"Труба выхлопного газа";"DINEX";="15604";4;"BEDFORD";="34613907";="34613907";3
"Средний / конечный глушитель ОГ";"DINEX";="16100";5;"AEC";="T80284";="T8/0284";3
"Средний / конечный глушитель ОГ";"DINEX";="16300";7;"AEC";="TO118TO125";="TO118/TO125";3
"Средний / конечный глушитель ОГ";"DINEX";="16300";7;"TIMAX";="TAE19T";="TAE19T";4
"Средний / конечный глушитель ОГ";"DINEX";="16302";8;"BEDFORD";="T136TO102";="T136/TO102";3
"Средний / конечный глушитель ОГ";"DINEX";="16302";8;"AEC";="T136TO102";="T136/TO102";3
"Средний / конечный глушитель ОГ";"DINEX";="16302";8;"TIMAX";="TAE33X";="TAE33X";4
"Средний / конечный глушитель ОГ";"DINEX";="16306";9;"AEC";="TO120";="TO120";3
"Средний / конечный глушитель ОГ";"DINEX";="16306";9;"TIMAX";="TAE50T";="TAE50T";4
"Средний / конечный глушитель ОГ";"DINEX";="18331";13;"DENNIS";="6555506";="655550/6";3
"Средний / конечный глушитель ОГ";"DINEX";="18334";14;"DENNIS";="416007";="416007";3
"Средний / конечный глушитель ОГ";"DINEX";="18334";14;"GILLET";="460009";="460009";4
"Средний / конечный глушитель ОГ";"DINEX";="18340";15;"DENNIS";="6592151";="659215-1";3

(60) Открыл в эксель. отформатировалось без проблем в 8 колонок

(61) Переформатировать и залить в SQL секундное дело, и тяни через ODBC. Тянуть ксв через ODBC это извращение как хоккей на траве балет на льду или IP телефония через dial-up
(62) ну или так. в ёкселе есть дивная штука VBA.

(63) так уже решили. буду ставить мсскульэкспресс или файрберд. думаю первую ибо продукты мс обычно более дружелюбные и расчитаны на тупых. (63) думаю из екселя будет долго. и потом лучше сделать таблицу одного формата и раскидывать ее в скуле из разного типа файлов. тогда код 1с не надо будет менять.

жесть, как она есть

(64) файрберд то зачем??? мсскуль или постгрес тогда уж.

импортируйте в любую нормальную субд и работайте.

(65) негативный ты человек :))

(66) мсскуль :)

(59) Закачиваешь в темповую таблицу, а затем https://msdn.microsoft.com/ru-ru/library/bb510625(v=sql.120).aspx

Ты можешь подгружать только изменения за определенный период итд