упоминает мою "измену"

Здравствуйте, я встречалась с парнем больше года, после чего мы расстались. Отношения идеальные, расстались по пустяку, но окончательно. Он мой первый парень во всем смыслах, люблю безумно, очень привязана к нему. Многое прощала, даже измену(встречался со мной и с бывшей одновременно 3 месяца). Знает, что я никогда никуда не денусь от него, все прощу, что бегать буду за ним. Знаю, дура. Но ничего с этим поделать не могу, пользуется как может.
Так вот, во время расставания я начала встречаться с другим человеком, наверное чтобы забыть его, сама ещё не понимаю, но отношения не получились, хотя все было хорошо. Через какое-то время я снова сошлась со своим парнем, с которым больше года встречалась. Все идеально, лучше некуда уже, ну вот слишком хорошо. Но в какой-то момент он узнает, что когда мы расстались, я какое-то время встречалась с другим, то есть не была ему верна(это по его словам). Естественно он себе там надумал много чего.
В итоге мы все равно вместе, но теперь при каждой ссоре, где виноват он, он мне упоминает об этом. То есть если я начинаю ему предъявлять что-то по поводу его поведения и поступков он говорит:"Ты не имеешь права мне ничего запрещать и предъявлять, ты мне изменяла, ты уже такое натворила" и т.д.
Грозит расставанием, относится неуважительно, но в тоже время я вижу его любовь ко мне, не только на словах, но и на поступках. Знает, что вернусь в любом случае к нему, пользуется, а я ничего с этим сделать не могу.
Если я начинаю говорить о его проступках, так он не слушает даже, на его реальную измену ему вообще плевать.
На данный момент мы с ним почти 2 года, расставались тогда на 2-3 месяца.
Не надо, пожалуйста, говорить, что лучше расстаться и прочее. Для меня это трагедия, ведь первая любовь.Я хочу узнать ответ на конкретный вопрос. Что делать, если он упоминает об "измене" каждый раз, когда ему это выгодно, что бы сделать меня виноватой?
Очень жду вашего совета.