указан счет расчетов и счет по претензиям.
Но почему то вся сумма относиться на счет по претензиям. Из за чего так?

(0) все правильно. поставка полностью оплачена и поставщик теперь должен вернуть бабло. После возврата бабла сальдо на счете претензий закроется.

1, а тогда зачем нужен счет расчетов?

я, конечно могу в счете оп претензиям тупо поставить 60-ый, что бы было "как надо бухгалтеру" но хотелось бы по уму сделать

Некотрые решения от 1С являются сомнительными.

Расчеты с поставщиком возникают не при возврате товаров, а раньше- когда выявлены основания для возврата и составлены соответсвующие документы- акты и претензии.

Товары возращают не сразу, а после рассмотрения претензии поставщиком.

если претензия была признана, товары или материалы должны быть сняты с учета в качестве ТМЦ (по той причине, что не являются больше товарами для перепродажи  или материалами для использования в производстве) и оприходованы на счет 002.

И соответственно, возращаются с этого счета (движений по расчетам за товары при этом не возникает).

Если же возврат вытекает не из претензий, документ возврата товаров не особенно и нужен- сойдет и обычная расходная накладная с механизмомо ввода на основании прихода.