Возврат превышает остаток товара поставщика А в организации В на складе.
Это произошло из-за того, что учёт ведётся с 01.01.17, а приход был в 2016.
Вопрос: по какому регистру должен быть остаток, чтобы провёлся возврат?

(0) а чем вводили остатки?

Убери в документе возврата ссылку на документ поставщика и будет тебе шастье

Возврат поставщику - сторнирующий документ поступления, допускает возврат товаров в пределах отчетного периода по НДС. Для возврата прошлогодних товаров нужно делать корректирующее поступление и корректирующую СФ.