Очень сложно, задыхаюсь от боли

Попробуйте разобраться со своими чувствами - Вам этот мужчина нужен для чего? Вы хотите жить с ним нормальной семьей? Это вряд ли получится, т.к. он банально манипулирует Вами и Вашими чувствами. Если сумеете справиться со своими гормонами и с эмоциями - однозначно прекращайте с ним отношения и с позиций приобретенного житейского опыта ищите себе другую партию. Вы сами видите, что свежеразведенцы для новых отношений являются самыми ненадежными и это к сожалению не единичный случай, а вполне себе закоренелое правило.

Товарищ вообще не собирается разводиться - это очевидно. Вы просто мимолётная отдушина в его сложных отношениях с женой. Он с ней - не с вами. Это ответ.