Интересный вопрос))

Как получить все уникальные значения в определенной колонке - не выгружая и не свертывая ТЗ

(36) Без перебора строк - никак.

(36) делай в момент, для кэша юзай соотвествие

(34) неверный параметр - это при передаче в запрос ТЧ без предварительной выгрузки

(36) Можешь добавить внизу формы прогресс бар. Это ускорит работу в разы!

(37) ..внезапно, да? ;-)

(36) надо об этом позаботиться в момент заполнения этих 650 кСтрок

Контрагент = Кэш[Текст];
Если Контрагент = Неопределено Тогда
  Контрагент = НайтиКонтрагента(Текст);
  Кэш.Вставить(Текст, Контрагент);
КонецЕсли

(37) сейчас используется цикл по этой короткой таблице а в цкиел обращение к ТЧ с методом НайтиСтроки с отбором по определенному соответствию

И там перебор строк

Надо от этого уйти

(43) как вариант.

(44) Уходи.

(45) единственный вариант

(23) так и напрашивается левое соединение

(48) нет смысла ибо сами изначальные данные вне реляционой базы

1) выгружаю конкретную колонку
2) свертка - получаю уникальный список
3) нахожу ссылки

4) делаю перебор уникального списка
5) в цикле обращаюсь к главной ТЗ с методом найти по уникальному значению
6) дополняю все строки.

С кешем 4-5-6 все равно останутся как ни крути.
Единственное что он заменит это 1-2

И неизвестно будет ли это лучше. ЧЕм выгрузить колонку и свернуть ее

(48) плохо. придется для запроса выгружать еще раз всю таблицу, соединять, и потом еще и циклом снова вс строки перебирать.

(50) так нужно делатьв момент загрузки тз, а не после

почему именно после делаешь?

(50) Выгружай все колонки и ищи сразу всё.

есть еще вариант: строки не обрабатывать, а обрабатывать их только в момент записи в бд

(9)(33)(34) Извиняюсь, пропустил "не выгружая ее во временную таблицу"...

(23) Странное желание.
Надеюсь автор понимает, что любой обход таблицы - это цикл? Платформа при выгрузке, загрузке, свертке и прочих операциях с ТЗ тоже пользуется циклами (сюрприз, да?). Только делает это на более низком уровне абстракции.

Поэтому, если хочешь без циклов, делай все нужные действия во время добавления строк.

(52) в цикле 650 тысяч строк? Что то мне подсказывает что это не вариант.

К тому же я описал - на примере производителей. Чел грузит таблицу - и каждый раз могут быть произвидители которых нет в базе вообще.

Но он загрузил таблицу и есть поля быз ссылок.
Он создает новых  - и теперь их надо вернуть в строки ссылками.

Этот список "изменяющийся каждый раз" - завтра появятся строки с новым производителем - неведомым на момент загрузки ТЗ

(58) Та не парься ты так. Видали и побольше таблицы.

Ладно короче (2) самое оптимальное.

(58) переходи на внешние источники данных.
типа mysql какой.
Скорость работы может существенно повыситься

(47) внезапно этот вариант маня стал искать в 2017г, в то время как другие его юзают годами и десятилетиями

(58) достаточно по мере добавления новых поставщиков собирать их в массив или список и проверять в этом списке

плохо что в запрос нельзя ТЧ впихнуть без выгрузки.

(63) Достаточно это делать вообще молча, не о чем юзера не уведомляя.

(61) + сможешь динамические списки заюзать

(62) варианты уже реализованы. Ноя за платформой не всегда слежу - может там появилось что то уникальное)

Было бы супер просто чтобы был метод Таблиц значений с тем чтобы в колонке значение заменить другим значением.

Вот это было бы круто

Хотя бы это. Уже было бы просто супер

(60) Свертка м.б. очень небыстрым действием... очень...
при загрузке в базу работай по кэшу.

(64) можно, если это ТЧ сохраненного объекта БД

(67) мини-база в памяти. и апдейт. ничего лучше скульного подхода вряд ли придумать...
???

Хотя да кеш в моем случае подходит на ура.
Делаю

(63) + в этом массиве (или лучше тз) хранить ссылки на строки, где надо будет их подставить.

Вот кстати неплохой, ИМХО, вариант.
Не надо будет заново список перелопачивать. Все ссылки уже есть в маленькой ТЗ (она маленькая, потому что там только те, которых сразу не нашли)

уговорили-таки. И как Маня свои миллионы заработал...

(67) ЗагрузитьКолонку()

(74) на пользователях, которые код не читают :)

(74) чтоб продавать не нужно иметь совершенный продукт

(73) эээ стоп. А если из 650 - в 600 строках производители которые есть в базе. Но их же надо найти.

При этом не дать в каждой строке поиск ссылки. Не вариант.

Надо весь списоку уникальных выгрузить несмотря на то есть или нет. Чтобы те что есть отработали только 1 раз

(78) как твои поделки вообще ворочаются, если ты элементарных вещей не знаешь?

(78) 2 списка.
Один из тех, кто нашелся (соответствие).
Второй из тех, кто не нашелся (их заведем потом и подставим в строки, которые сохранили). Тут надо будет опять таки либо кэш, либо свернуть.

Я занимаюсь оптимизацией)))

Сейчас 10к строк отрабатывается за 5 секунд))) - это вообще все на свете что у меня впихнуто. От начала загрузки тз - то всей синхронизации всего что только там есть и запись в базу

Но я хочу ЕЩЕ БЫСТРЕЕ)))

(80) но во втором лучше свернуть, чтоб заново их не перебирать все...хотя можно попробовать и то и другое и посмотреть на скорость...

http://catalog.mista.ru/public/371762/

Мань, а почитай про ПовторноеИспользование
или у тебя весь код в обработке?

(67) Обрабатывай в тексте. В тексте то можно, но выгружать загружать надо в строку

+85 Как на 7.7 заменяли все значения в ТЗ по одной колонке

ЗначениеВСтрокуВнутр
ОбработалТекст с заменой
ЗначениеИзСтрокиВнутр

И всё. Вот только таблица у Вас сильно большая

Можно таблицу во внешнем файле готовить под ЗначениеИзФайла

таблицу значений

КОроче говоря попробовал Соответствия - рулят!!!!!

просто офигенно рулят!!!!

(78) поздравляем с охренительным прогрессом!

(91) я счастлив за тебя.

Соответствия.Вставить - само все проверяет. не надо ничего искать и тп.
Если нет добавлет, если есть заменяет.
Оставляет список только уникальных

И всего одна строка кода

И также потом там ссылки вставляю в значение - и когда надо запихнуть просто Получить - по ключу который текст - и ссылка запихивается.

(95) главное - не впихивай невпи><yемое!

(90) ждём новую версию Мегапрайса

В общем суперски решилась проблема.

Создал массив соответствий по куче колонок.

В них при заполнении таблицы впихиваются все уникальные записи)

Создал регистр специальный. Хранения соответствий одним махом. Так как например у нас самая многократно встречаемая задача когда производители (самое большое количество элементов) а также иерархические парйсы с группами

- по этим элементам идет несоответствие. Те то что в прайсе у поставщика свои группы - у клиента могут быть свои - называтся по другому и так далее.

Поэтому для уникальных значений люди хранят соответсвия.


В общем потом махом все соответсвия проверяются на существующие элементы или из регистра соответвий.
Универсально.

И потом одним махом в таблице заменяю на ссылки.

Работает чудесно.

(99) и по какому поводу радость? По тому, что дошёл до идеи хранения соответствий?

Да уж.  Хэш таблицы, Dictionary типа B+ деревьев давно используются в любых языках. Структура это аналог Хэш таблицы

https://ru.wikipedia.org/wiki/Хеш-таблица

(101) аналог не аналог. почти тот же список значений.
Только удобно что не надо искать значение чтобы проверить его наличие и добавить в случае его нет.
Одна строчка кода - это супер. И получение по ключу супер.

Просто удобно в рамках 1С

Народ ситуация - есть колонка со смешанными типами.

Для строк с разными типами - сами типы определены но значения пустые ссылки.

Например в одной строке - типа валюта с пустой
В друго справочник производители с пустой ссылкой.

Как условие на пустую ссылку проверку сделать. но чтобы не пришлось перечислять тип

не могу впоймать пустые значени. ЗначениеЗаполнить не помогает.

А мне надо если - там пустая ссылка любого типа справочника  - ставить галку

Даже 0 почему то считает заполненностью

(103) .Пустая()

(103) Справочники.ТипВсеСсылки()

(101) Не путай Структуру и Соответствие. В структуре никакими хэшами не пахнет.

(104) >ЗначениеЗаполнить не помогает.

Что-то не верится. Показывай код.

ЗначениеЗаполнено()

(94) Но ведь само соответствие не индексировано.
Не лучше ли вместо соответствия создать индексированную ТЗ и уже в нее пихать то, что надо.
К тому же, индекс можно строить и по нескольким колонкам сразу.
Да, тут будет не одна строка кода, но поиск значения будет значительно быстрей при большом количестве строк.

(110) Почитай что ли, что такое Соответствие

https://ru.wikipedia.org/wiki/Хеш-таблица

(110) соответствие индексировано для ключей примитивного типа

(112) о как...спасибо, не знал...

(112) А для других - нет? Источник?

(114) А для других нет. Ссылки тоже индексируются. Поверьте мне на слово.

(115) Про ссылки верю, хоть это и не примитивный тип.

Не знаю, можно ли применять термин "индексируются" к хеш-таблице.

(116) Ну в той ссылке, что ты предоставил этот термин применяется:
"Это связано с тем, что при достижении некоторого значения коэффициента заполнения необходимо осуществлять перестройку индекса хеш-таблицы: увеличить значение размера массива H и заново добавить в пустую хеш-таблицу все пары."

(117) Понятие индексируются относятся к упорядочиванию.
В Хэш таблице нет возможности поиска на больше и или меньше, только точное соответствие.

Понятие индекс в Хэш таблице это позиция в таблице.
При этом от вариантов Хэш таблицы, коллизии сохраняются в виде списков либо прямо в таблице либо ввиде выделения памяти отдельно от таблицы.

Позиция рассчитывается как
ХэшКод % размерТаблицы
а размерТаблицы подбирается под простое число для уменьшения коллизий

(119) А я правильно понимаю, что благодаря использованию Хэш-кода размер ключа не ограничен, как, например, он ограничен при построении индекса таблицы?

(120) Хэш как правило инт 4 байта.
При этом могут быть разные значения с одинаковым хэш кодом.
При нахождении нужного хэша нужно сравнить и значения.

Но хэш таблица в отличие от Б+ деревьев должна вся реструктуризироваться при полном заполнении таблицы.

(121) Ну это же и есть те самые коллизии, которые решаются на уровне платформы. Так что можно юзать. Спасибо.

(0) Маня, будь мужиком, нарисуй нормальную стрелочку в своей рекламе. И шрифты вырвиглазные поменяй. И цвета.

(123) ок ок)
я не художник.

В продолжении темы вопрос

Имеем обьект обработки. В ней к примеру 3 ТЗ с данными.

Вызывается некая серверная процедура в которую надо передать только данные одной таблицы.

Проблема в следующем -

На клиенте кнопка. в ней вызов идет процедуры с диррективой НаСервере - а значит херачутся все данные всего обьекта на сервер.
Как ограничить)

На сервере без контекста

(125) она не позволяет вызывать процедуры зашитые в модуле

Мне надо как то вызывать процедуры модуля без передачи всех данных объекта на сервер.

Я бы сказал мне надо все вплоть до наоборот - с сервера получать данные - при этом используя процедуры модуля

(124) ПоместитьВоВременноеХранилище/ПолучитьИзВременногоХранилища никак не поможет?

(127) это все равно, что гланды доставать через ноздрю
передавай исходный файл на сервер (128), и на сервере уже изгаляйся как хочешь

Была как-то у меня задачка по импорту данных из сторонней базы. Совсем сторонней, аж на Sybase 9 версии. И была там пара таблиц где-то под 400 тыс.записей каждая. Сразу в базу 1С их писать смысла не было, надо было по по определенным отборам показать пользователю, а он уж решал - "эту группу записей мы импортируем, а эту нет". Причем помнится, что была еще заморочка, что получать частями не выходило, потому как критерии отбора можно было получить, только прочитав таблицу целиком. И где эти 400 тыс держать? На сервере-то они во временные ТЗ запихивались, а как на клиента тащить, бо помрет же с натуги болезный :) ? Да и ни в какую ТЧ не засунешь. Выкрутился так:

ИмпортируемаяТаблицаАдрес = ПоместитьВоВременноеХранилище(SybaseTable1,ЭтаФорма.УникальныйИдентификатор);
(где ИмпортируемаяТаблицаАдрес - реквизит формы обработки, SybaseTable1 - временная ТЗ).

А потом при повторном вызове серверной процедуры:
SybaseTable1 = ПолучитьИзВременногоХранилища(ИмпортируемаяТаблицаАдрес);

(128) оно не дает вызывать процедуры модуля.

Да это подходит если с клиента передать на сервер.
Но у меня например вообще все данные в обработке изначально на сервере всегда;

И я бы не хотел их передавать на клиент.
Или передавать но частично.

(130) тут ситуация такая обработка сделана под фоновые задания.

ПОэтому в модуле содержится вся фигня по заполнению и обработке,

Но также эта обработка и в  визуальном режиме работает
Соответственно мне надо много процедур брать из модуля.

Мне было бы достаточно чтобы они вызывались интерактивно - но все данные оставались на сервере,
А я мог на клиент брать только чатисные какие то данные.

Или просто на клиенте чел жмет кнопку - вызывается процедура модуля которая те данные что на сервере = фигачит куда надо.


Короче управление с клиента теми данными что есть в обработке на сервере.

Короче ладно фиг с ним с усложнениями.

Просто достаточно чтобы на клиенте можно было вызвать процедуру модуля без перегрузки данных

БезКОнтекста не получается брать процедуры модуля - даже если бы они вообще ничерта не делали

короче забейте голова не варит

(133) если процедуры модуля (мы же про модуль объекта?) не используют данных формы, попробуй на каждый вызов процедур
Обр = Обработки.МойМегаБакс.Создать();
Обр.ЭкспортнаяПроцедураМодуля();

(135) +ВременноеХранилище в адрес реквизита позволит не гонять данные на клиент
гоняешь только реквизит формы, на сервере по реквизиту-адресу всегда найдешь свою таблицу