Хочу рассказать о разработке, предназначенной для облегчения написания запросов "без кривизны"
Поскольку наша команда (gilev.ru) специализируется на повышении производительности, то вопрос автоматизации рутинных операций в нашем деле стал достаточно быстро. Очевидно, что повторяющиеся простые действия не надо делать «руками».

Кто бы что на разных курсах не рассказывал «про чудесные секреты», а основным показателем является количество оптимизированных запросов. Просто и банально.

Другими словами, большая часть проблем производительности 1С лежит в неоптимальных запросах. Даже многие блокировки — лишь следствие избыточного сканирования данных неоптимальными запросами.

Поэтому основная задача оптимизации всегда будет в том числе в оптимизации наиболее используемых запросов.
Мы написали свою обработку. Не бог весть что, но работу облегчает.

Но как говориться лучше один раз увидеть https://www.youtube.com/watch?v=q9bKv5LwRdk , чем сто раз услышать.

Поэтому отдаем на Ваш суд нашу консоль запросов, которую можно скачать на главной странице http://www.gilev.ru/#ConsoleGilevRu , на текущий момент это версия http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_1.epf

Нужно настроить консоль согласно инструкции  http://www.gilev.ru/console_setup
Результат анализа отображается на нашем сервере https://isinka.gilev.ru/QueryAnalyzerService/

Важно. Готовы делится бесплатно анализом запросов взамен на Ваш обратный отзыв и рекомендации, а конкретнее:
•    Написать в почту [email protected] запрос с ссылкой на эту ветку и указать учетную запись в наших сервисах - 10 запросов бесплатно
•    по каждому запросу и обнаруженной рекомендации дать обратную связь нам, насколько ясна рекомендация, помогла ли она - еще 3 запроса бесплатно по каждой обратной связи
•    написать отзыв на своей странице и сообщить нам об этом - 3 месяца безлимита
•    написать отзыв в своем блоге  и сообщить нам об этом- 1 месяц безлимита
•    написать отзыв в своей ленте в социальных сетях  и сообщить нам об этом- 1 неделя безлимита

Я думаю что на экзамене 1С:Эксперт нашей обработкой Вам пользоваться не разрешат – слишком легко сдавать будет 
А вот на наших курсах http://www.gilev.ru/kurs/ можно все , в том числе убедиться насколько это мощный инструмент ускорения любой информационной системы.
Уверен, со временем наш подход, реализованный в этой обработке станет новым стандартом в области оптимизации. Спасибо что дочитали до конца! 

Согласовано с Волшебником

(73) там вообще жесть в утшечке

(73) + к этому расчет единиц измерений "новый"

(68) > В ИР кстати показ плана запроса настроить значительно сложнее (плюс я вообще не нашел где...)
Согласен, что настроить в ИР это сделать в целом сложнее первый раз. Но раз ты вообще не нашел где, то видимо не достаточно оценил возможности =) Посмотри ролик на эту тему
https://www.youtube.com/watch?v=0YrEHuMmd3g

(68) "У меня такой вопрос судя по коду обработки план получается из журнала?"  
да, из ТЖ

"Но тогда не понятно зачем учетные данные SQL?"
например опрашиваем дату статистики

"А если получается не из журнала то может быть можно в будущих версиях организовать получение плана XML для более удобного просмотра в том же SQL Sentry Plan Explorer?"
ну кажется для этого наша консоль не нужна, она все таки не план отображает, а предназначена для пока рекомендаций по этому плану

"И еще судя по всему включается ТЖ он включается навсегда или как то на время запроса, или на время жизни обработки?"
на время выполнения запроса

(69), (79) в идеале сотрудникам фирмы 1С перебороть свою гордость и использовать нашу консоль при разработке, но общий ответ да, поможет

паттернов типовых конфигураций по маске кода 1С не собираем, но не исключаем что в будущем что то и такое сделаем

(73) однозначно осилит, именно под такие случае и делалось

(71) консоль модифицирует файл logcfg.xml, в фильтре указывается сеанс и логируются записи только по данной сесии

пока сделать одновременную работу нескольких разработчиков в одной копии базы не делали, так как обычно конфигуратор то один )
но если это будет реальная проблема, можно доделать

проблем продуктиву у нас консоль ни разу не создала, но это конечно не оферта )))

(71) если быть педантичным, то платформа 8.3.8 к примеру изменила работу с ТЖ на уровне префиксов тегов и нам часть инструментов чтобы сохранить совместимость пришлось резко переписать, добавив "переключатель версии платформы"
т.е. от версии к версии платформы может меняться состав полей, событий, правил синтаксиса

пользователи наших инструментов пишут нам о "новом" поведении в новых релизах и мы оперативно учим наши инструменты распознавать такое

вот будет ли знать ЦУП про модификации logcfg.xml - не знаю, надо пробовать

прямо сейчас все известные случаи мы отладили, вроде все работает

(76)Сергей, если тебе интересно, мы готовы предоставить тебе интерфейс выплевывать данные из твоей консоли в наш сервис анализировать собранную твоими инструментами информацию, наши контакты ты знаешь

(76) да спасибо, ещё насколько я помню когда пользовался ИР почему то получались только estimated значения без actual но понятно что это не от ИР зависит, просто в обсуждаемой обработке сразу видно План/Факт.

Допускаю что тогда я где то не досмотрел но с тех пор смотрел планы на SQL.

(77)
"ну кажется для этого наша консоль не нужна, она все таки не план отображает, а предназначена для пока рекомендаций по этому плану"

На простых запросах да в общем то и по тексту плана понятно что пошло не так и рекомендации пока все что видел (но видел мало) разумные.

А вот сложный план мне например тяжело смотреть поэтому и пользуюсь "SQL Sentry Plan Explorer" удобно по графическому представлению быстро найти операторы и в целом окинуть картину проблем а потом уже в текстовом виде отдельные моменты смотреть не наводя каждый раз мышку на операторы.

Но в общем понятно что раз из ТЖ то доставать XML плана это задача совсем другая.

(71)
Спасибо, т.е. вы не затираете logcfg.xml а просто в него пишите свою секцию, а потом так же находите эту секцию и удаляете после выполнения запроса.

[off]
Я только не пойму как вы так быстро мнеяете ТЖ там же нужно 60 сек на считывание настройки.
т.е. первый раз я ставлю флажок, там все понятно, вы правите logcfg.xml и ждете минуту пока он перечитается.
Далее я выполняю запрос, все это фиксируется в журнале.
Затем этот журнал лежит на диске (сколько по времени?, вероятно он перезатирается следующим запросом?)
Я перехожу на страницу "План запроса" начинается анализ этого журнала.

Затем беру другой запрос выполняю, и он выполняется быстро, т.е. нет ожидания в одну минуту, не пойму как так получается? Ведь по идее когда первый запрос выполнился уже в logcfg.xml отключили запись лога, и пред выполнением запроса ее снова нужно включить а это около 60 секунд на считывание файла?
[/off]

(83) "быстро найти операторы и в целом окинуть картину проблем"

в алгоритме постарались разложить рекомендации по ранжиру/вкладу в замедение - сначала самые важные и смотреть надо их, а для этого подсвечиваем это место в запросе, чтобы не искать вручную

т.е. не надо окидывать, мы именно эту задачу и решали

(83) "Я только не пойму как вы так быстро мнеяете ТЖ там же нужно 60 сек на считывание настройки" // Наверное, возврат настроек ТЖ наступает перед закрытием формы, а не после выполнения каждого запроса

Не нашел прайса. Сколько будет стоить сверх 10-ти запросов ?

(83) " я помню когда пользовался ИР почему то получались только estimated значения без actual"

actual долго.

(86) после каждого запроса забираем лог, лог тж перестает писаться с закрытием формы

(87) 50 руб. за запрос

баланс пополняется через http://www.gilev.ru/addbalance/

требуется залогиниться под своей учетной записью (которая выдана при регистрации), а не использовать демоучетку учетку Work в момент пополнения

(47) привидите пожалуйста пример случаев которые анализирует ваш сервис и это-го нет в офф материалах для экспертов. Вы возможно обладание какими-то эксклюзивными знаниями области оптимизации, но это не значит, что вы все "закодили" в сервисе. Вы даже поленились вернуть результат в консоль запросов.

(91) не нравится наша обработка - просто не пользуйтесь

если вы продемонстрируете что не умеет наша обработка, но есть в материалах для экспертов, то с высокой вероятностью мы научим обработку и это делать

но если очень-очень хотите увидеть "экслюзивные возможности" обработки - приходите на http://www.gilev.ru/kurs/, с удовольствием покажем и продемонстрируем

(92) Мне ее просто негде использовать. Мне больше подходы интересны для общего развития.
PS. Не понятна ваша реакция, утверждаете, что "копаете глубоко", но не единого примера который продемонстрировал бы "глубину", вы не привели. И на видео кейсы с диска ИТС по оптимизации запросов.

но вообще рынок инструментов для 1сников весьма условный. у франей есть ресурсы на специалистов, фикси фиг обоснует траты на это. ну а фри все жмоты те еще.

(93) для общего развития - приходите на наши курсы, покажем примеры с "глубиной", будут конкретные практические примеры

повторю мысль из 52го поста - готовы обсуждать только конкретные запросы выполненные в нашей консоли, первоначальные 10 запросов выдаем бесплатно

если с консолью работать не собираетесь, то не стоит рассчитывать на энтузиазм с нашей стороны

(94) Антон, если 50 рублей жалко, ну не знаю...

(72) отвечал уже в 45 сообщении - пока нет, но в планах

(96) проблема не в жалко, а в том, что в некоторых компаниях чтобы флешку купить нужно 5 подписей собрать на пути согласования.
а тут на что фикси согласовывать затраты: вот прихожу я к руководству, говорю, есть хорошие спецы, за 50р подскажут что не так в моем(или чужом) запросе, руководство мне мало того что денег не даст так еще и поставят вопрос о профпригодности

(96) Для меня консоль была бы интересна только в плане получения гистограммы статистики прямо из 1С.
Ну и встроенные скрипты (прямо из 1С) по рекомендованным/ненужным индексам, высоким I/O, CPU, сброс кэша процедур/буфера памяти + структура таблиц базы.

(100)

(98) т.е. из личного кармана выложить 50 рублей неподъемная сумма?

(99) а это http://www.gilev.ru/sqlsize/ видели?

(101) Если для удовлетворения собственного любопытства, то вполне подъемная, а вот если стоит задача - оптимизировать всю конфигурацию, то там будет не один запрос, а сотня. Думаю вряд ли кто за свой счет захочет заниматься такой оптимизацией, а руководство действительно может не понять, если у него попросить денег. На многих предприятиях у руководства именно такая позиция - "а зачем ты тогда нужен, если сам не можешь с этой задачей справиться".
Руководителям большинства предприятий (не франчей) глубоко по барабану нюансы работы 1с и они не хотят понимать, что оптимизация программного кода это отдельное направление и отдельная специализация.

(0) очень тяжелый интерфейс взаимодействия с системой, большие трудозатраты времени для получения "такого" результата.

посмотрел вашу волшебную консоль.
она и правда "волшебная".

В модуле текст на разных языках, где англ. слова, где латиницей русские, все вперемежку с русскими.

отдельно стоит сказать про использование меток.

был лучшего мнения о команде Гилева

(103) я не видел ни одного проекта, где бы в течении нескольких месяц было ускорено 100 запросов (хотя в теории ничего сложного нет, но именно из практических соображений)

в реальности по правилу парето хватает десятка запросов, т.е. оптимизируют обычно запросы с большим суммарным временем

10 запросов х 50 руб = 500 руб.
по моему небольшая сумма продемонстрировать работодателю свою профпригодность

во всяком случае многие покупают курсы за 15000-25000 рублей

(105) https://skynet.gilev.ru/sqlsize/ попробуйте, напишите пожалуйста, получилось ли

(106) тяжело запрос отправить или прочитать отчет анализа?

(107) под какой учеткой отправляли запрос на анализ?

(111)

я не отправлял запрос, просто скачал и открыл вашу консоль в конфигураторе

Поэтому отдаем на Ваш суд нашу консоль запросов, которую можно скачать на главной странице http://www.gilev.ru/#ConsoleGilevRu , на текущий момент это версия http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_1.epf

(110) тот кто может исправить - быстрее прочитает запрос и исправит, для получения таких рекомендаций делать столько действий (особенно лезть в окружение для получения результата анализа) кажется трудоемким.
имхо, массово не взлетит

(112) нужно выполнить неоптимальный запрос в консоли и потом посмотреть на анализ, чтобы составить мнение

(113) ну если можете быстрее чем консоль - то она Вам ни к чему
не используйте ее

(114)

спасибо, после увиденного как написана консоль уже не хочу

(116) ой, всё ? )

(117)
ребята, вы такие цены ломите за услуги, и да

ой, все

(118) а какие цены надо?

уже никакие, т.к. было сомнение, обращаться к вам за аудитом базы или нет, теперь вопрос решен

(119) Например фиксированная сумма за определенное время:
10 дней, месяц и т.д.

(121) и какую бы цену хотелось за 10 дней?

(120) т.е. дело не в цене?

(122) по цене не важно, важно что не надо париться насчет кол-ва запросов

(124) + можно также ограничить общее число запросов

(124) лимитировано по времени возможность сделать есть, кому надо обращайтесь в почту [email protected]

(109) Нет, поведение такое же: полоса загрузки (кубики) заставки 1С доходит до третьего с конца кубика и далее начинается какая-то свистопляска: иконка обновления страницы по нескольку раз в секунду меняется на иконку остановки загрузки страницы (крестик). Проц и память процесса Хрома растут в это время пугающе быстро.
Подождал секунд 30 - все прогрузилось.

+(127) Это в режиме инкогнито. В обычном режиме вкладка после этих 30 секунд крашится.

А можно же каждые 10 запросов новую регистрацию делать...

(129) Тебя забанят по айпи :)

За совет или за попытку? )))

(127) можете в скайп gilev_slava показать проблему? у нас не воспроизводится, но мы заинтересованы ее решить

(129) можно и в одну учетку периодически давать обратную связь и получать бесплатное продление - это кажется проще чем каждый раз регистрироваться

мы все равно все запросы вручную обрабатываем по бесплатному доступу

расскажем про консоль на http://event.infostart.ru/2016/

(132) Могу, но с учетом того, что это только в одном браузере, только на моем ПК и только в режиме "не инкогнито", то вряд ли оно воспроизведется

Вышла новая версия консоли, 1.5.2. Скачать можно тут:
http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_2.epf

Исправлен вызов формы выбора типа данных для параметра запроса - учитывается режим использования модальности, введенный в платформу, начиная с версии 8.3.3

кино про вашу консоль не смотрел, бегло прочитал отзывы.

у меня есть консолька, которая меряет время исполнения запроса в миллисекундах. когда я вижу, что запрос исполняется неприлично долго - я просто смотрю время исполнения по кускам, а дальше уже дело техники.
я конечно не такой профессионал как вы, но я согласен с H A D G E H O G s

(137) Можно твою консольку посмотреть?

И тут же исправили ещё одну ошибку, выпустили версию 1.5.3. Скачать можно тут:
http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_3.epf

В ней исправлена ошибка разбора запроса - парсер воспринимал таблицу остатков регистра бухгалтерии (с указанными четырьмя параметрами) как таблицу остатков регистра накопления (у которой может быть максимум 2 параметра), и выдавал ошибку, считая, что переданы лишние параметры.

(137) если дальше "дело техники", то вам консоль не нужна, но если не победите запрос, вспомните про консоль

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_4.epf исправили ошибку парсинга с буквой Ё

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_5.epf добавили возможность анализировать индексы в базе где есть разделители

выложили обновление 1.5.8 в разделе http://www.gilev.ru/#ConsoleGilevRu

До 15 декабря стартовал конкурс с призом - НОУТБУК! Нужно оказаться "умнее" нашей консоли и продемонстрировать случай когда наш инструмент не сможет проанализировать неоптимальность. Приз получит самый активный. В конкурсе может принять участие каждый желающий.

На время действия конкурса до 15 декабря любой желающий может использовать консоль бесплатно.
Для участия можно использовать либо свою учетную запись в сервисах http://www.gilev.ru/online/ либо использовать учетную запись "Пользователь" в настройках консоли.

Если Вы отправляете данные под записью "Пользователь", то смотреть результаты нужно в https://isinka.gilev.ru/QueryAnalyzerService/ указав в качестве пользователя "Пользователь" без пароля.
Примечание. Приз будет выдан в Москве.

(0) Как я понимаю, эта обработка предназначена для новичков, которые не знают принципов оптимизации запросов. Обработка их этому обучает, то есть подсказывает то что делали бы опытные 1Сники.
Таким образом, можно сэкономить на квалифицированных работниках наняв студентов, и заставив их пользоваться этой обработкой.
Еще была бы обработка проверяющая качество текста модулей, было бы здорово!

(145) пока ни кто не смог продемонстрировать свою квалификацию выше результатов обработки, не только новички

консоль снижает требования к квалификации и дает возможность повысить качество кода, только вопрос времени когда такой подход станет массовым

при выходе новой функциональности будем об этом оповещать

(144) Давайте я попробую без всяких ноутбуков.

Документ проводиться/распроводиться долго и печально, так как пересчитывает остатки с начала времен регистра накопления миллионами быстрых запросов update

(147) и в чем смысл сообщения? к оптимизации запросов это прямого отношения не имеет
сама проблема обнаруживается и выдается информации о ее наличии сервисом http://www.gilev.ru/sqlsize/

(0) база на постгри.. план запроса?
Или это только для ms sql ?

(149) как только наберем критическую массу, сделаем и для постгре, пока не востребовано, только скуль

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_9.epf

1) В форму настроек добавлена галочка для конкурса чтобы не регистрироваться в сервисах
2) При возникновении лексических ошибок выводится сообщение в удобочитаемой форме с описанием возможных ошибок (ситуация с "{")
3) Исправлен парсер запросов - учтено, что некоторые идентификаторы могут начинаться с символа "_" (подчёрк)

Обновление по конкурсу: обнаруженный недоанализ повторяющихся сложных вложений в алгоритме пока не реализован, но новыми претендентами на ноутбук заявляться не может, он начислен плюсом пользователю MJack

жаль что на конференции об этом не рассказали на основном докладе (все вскользь на табуретах второго этажа).

(153) 28го в 11.30 Дмитрий Юхтимовский в малом зале  показывал консоль, можно на записи найти

(154) в малом зале что-то разглядеть на сайдах было крайне трудно.

(155) с первых рядов отлично видно

(156) не всем повезло быть в нужных ряда., по ощущениям во втором зале проектор был слабоват.

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_10.epf
1)  Исправлен анализ функции ТИП()
2)  Доработан парсинг конструкции "Аргумент В (Значение1, Значение2,... ЗначениеN)

Примечание к конкурсу. Из нереализованного, но уже обнаруженного снимается для новых участников снимается анализ конструкций типа ЕСТЬNULL вставлять неоптимальные аргументы, а также проверка избыточных колонок во вложенном запросе, проверку на NULL при отсутствии соединений

(157) если Вы там были, то на инфостарте доступно Вам видео
изображение было засвеченным, не хватало баланса и контрастности, но рассмотреть можно было

мы наш доклад с разрешения организаторов готовы выложит на сайт

(159) жду доработку консоли для работы с СКД.

(160) убираете инструкции {} из запроса и работаете спокойно
сделать автоматически это телодвижение в консоли записано, при выходи оповестим

ПРОДОЛЖАЕТСЯ КОНКУРС С ПРИЗОМ НОУТБУК
подробности по ссылке http://catalog.mista.ru/public/556589/

все кто кричали что умнее консоли на практике "сдулись"
НИ ОДИН УЧАСТНИК КОНКУРСА НЕ СМОГ ПОКА НАЙТИ СУЩЕСТВЕННЫХ МЕСТ ДЛЯ ОПТИМИЗАЦИИ НЕ ОБНАРУЖЕННЫХ КОНСОЛЬЮ!

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_12.epf
улучшена работа в нештатных ситуациях, например когда собирается некорректный или не полный состав логов технологического журнала
улучшен замер времени, включая замер пакетов
исправлен анализ набора данных на вхождение в подзапрос

заявку  в гонке за ноутбук внесли пользователи centrab с уточнением рекомендации по порядку полей
и ДЛ с оптимизацией разнотипных параметров

выложена новая версия 1.5.14
исправлена работа с константами и разделителем ;
http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_14.epf

Профилировщик запросов - замечательная идея.

Я вот думаю, а если пришпилить к каждому запросу (например в комментарии) тестовые параметры, то можно было бы автоматом проходить все запросы конфигурации.

Оно бы например за ночь отпрофилировало, а утром выдало простыню, где там индекс не совпадает, где чего, а где сам запрос поломался (например, в результате изменения метаданных).

(165) этим мы занимаемся пока в "закрытом" режиме, делать ревью-тестирование на порядок сложнее

(166) Там сложность, пожалуй, в том, что невозможно просто так угадать тестовые случаи. Можно насобирать реальных пользовательских запросов, но ведь и сами пользователи могут ошибаться (например, по ошибке задавать слишком большие выборки данных). Как отличить плохие запросы от хороших и хотя бы показать пользователю предупреждение - пока не совсем понятно.

(167) у нас два алгоритма, проактивный и реактивный
проактивный целиком построен на вероятностях

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_15.epf исправлены ошибки при парсинге

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_16.epf добавлена обработка ДЛЯ ИЗМЕНЕНИЯ

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_17.epf

Добавлена возможность анализа метаданных графов журналов документов
Добавлена возможность анализа метаданных последовательностей
Исправлен парсинг конструкции ВЫБРАТЬ (расширенный синтаксис)
Исправлен парсинг конструкции ИТОГИ ПО ОБЩИЕ
Исправлен парсинг конструкции ИТОГИ ПО - учтено, что у контрольных точек итогов могут быть псевдонимы
Исправлен парсинг конструкции АВТОУПОРЯДОЧИВАНИЕ - учтено, что она может быть в любом месте запроса - до УПОРЯДОЧИТЬ, после УПОРЯДОЧИТЬ, до ИТОГИ, после ИТОГИ

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_18.epf

Добавлена возможность анализа метаданных регистров расчета

http://www.gilev.ru/1c/cloud/GilevRu_Console_1_5_19.epf
Исправлена ошибка анализа типа данных полей из запроса с созданием временной таблицы, когда имя создаваемой таблицы совпадает с псевдонимом таблицы, из которой создается эта временная таблица.