Вы не имели права выписывать счета-фактуры с НДС, не являясь плательщиком НДС. Вам нужно исправить эти ошибки, выписав счета-фактуры без НДС.
В целом, не являясь плательщиком НДС, вы не перечисляли этот НДС в бюджет. Покупатель соответственно не может взять НДС в зачет по вашему счету-фактуре и вынужден включать НДС в стоимость приобретения по товару. То есть основания, требовать у вас возврат у покупателя есть, но все зависит от условий вашего договора.

Например, если в договоре указана цена с НДС и без НДС, то вы соответственно будет отгружать используя цену без НДС. Если в договоре указана просто цена отгрузки без уточнений о включении в нее НДС, то вы можете отказать.