Как это назвать? Измена? Или бывший-собственник?

Если вы не были с ним в отношениях, значит это нельзя считать изменой тк у вас нет обязательств перед другим человеком. Возможно, парень вас вернул чтобы бросить и что-то доказать себе и вам, поэтому ищет для этого повод. Парни они такие коварные бывают)

Что мне делать?

Ничего не делать).... Что сделано, то сделано....
Ну а как он узнает?!.... если только вы сами не скажите......

Но если вас это так сильно мучает и ждете что вас в любой момент разоблачат,то лучше расстаться. Станете маниакальной, нервной и будете постоянно самобичеванием заниматься.

Автор, дорогая моя, Вы что! Искренне считаю себя д у р о й и очень наивным человеком. Даже я в такой ситуации не переживала по данному поводу, поскольку мы разошлись, а не поругались! Это две большие разницы. Я Вам больше скажу, вот, если в порядке бреда предположить, что Ваш мужчина потом может жениться на другой, то я Вас уверяю и Вас будет держать на крючке, мол, Вам нельзя ни с кем ничего и ни при каких обстоятельствах. На том простом основании, что он мужчина и ему все можно))) Да, бывают и такие экземляры.

Нет, это его загоны. Вы же решили что совсем расстались, и начали новую жизнь. Могли переспать хоть с целой ротой, это не его дело, его с вами не было. Нездоровое чувство собственности какое-то.

А во всей этой истории больше всех пострадал "хороший парень". Автора дуру и ее бывшего *****не жалко.

Т.е. вы все таки считаете, что это можно считать изменой?

В принципе можно.....
Можно расстаться, но до конца все точки не расставить.... ну коль автор снова сошлась с бывшим, то скорее так и было.