Пытаюсь сделать так:

ТекНоменклатура = ПолучитьПустоеЗначение("Справочник.Номенклатура");
ТекНоменклатура.ВыборГруппы(0);
Если ВвестиЗначение(ТекНоменклатура, "Выберите номенклатуру", "Справочник.Номенклатура") = 0 Тогда Возврат; КонецЕсли;

Но группы почему-то все равно выбираются.

Проверяй выбранное значение на группу
Как вариант:
ТекНоменклатура = ПолучитьПустоеЗначение("Справочник.Номенклатура");
ТекНоменклатура.ВыборГруппы(0);
~ВыборТовара: Если ВвестиЗначение(ТекНоменклатура, "Выберите номенклатуру", "Справочник.Номенклатура") = 0 Тогда Возврат; КонецЕсли;
Если ТекНоменклатура.ЭтоГруппа() = 1 Тогда
Перейти ~ВыборТовара;
КонецЕсли;

а .ВыборГруппы() применим только к реквизитам диалога на форме.

Ну это совсем уж некрасивый вариант. Неужели никак не отключить выбор групп?

(3) ОткрытьПодбор(..конт...)
    Конт.ВыборГрупп(0);

..или в форме списка справочника в Предпределенной ПриВыбореСтроки() проверять что выбрано

или вместо ввести значение юзать
СпрН = СоздатьОбъект("Справочник.Номенклатура");
СпрН.Выбрать(,);

спасибо!