Я думаю Ваша вина только в том что начали отношения с не свободным мужчиной. С другой стороны он выбрал Вас раз оставил эту женщину и приехал жить к Вам. В любом случае прекратите себя винить а вот к мужчине присмотритесь. Если будет слишком долго...