Припомнил мне три момента, где я была холодна к нему

Если бы он Вас любил, то простил бы любые косяки. А возможно, просто их не заметил бы. А так он к Вам равнодушен, но требует от Вас внимания, заботы к себе. Поэтому манипулирует и навязывает Вам чувство вины.
Разумнее всего расстаться и поискать заинтересованного в Вас мужчину. В момент расставания ещё услышите массу неприятного в свой адрес. Будьте к этому готовы.

А там адекватная была претензия? Возможно, он себе почву готовит, чтобы можно было с вами спать и сливать сексуальное напряжение, но при этом с замужеством и семьей вы к нему не приставали, потому что «ты тогда была холодна со мной и провинилась, поэтому я еще не решил достаточно ли ты хороша, чтоб на тебе жениться, старайся лучше» и тянуть эту песню до бесконечности.

У меня аж голова разболелась от этого творчества, какой там секс........