Некомфортно жить в качестве сожительницы

Хочу услышать мнение и получить совет. Ситуация такая:
С мужчиной вместе почти 4 года. Недавно начали жить вместе(4 месяца). Делал предложение "на будущее", тк конкретно в тот период времени расписаться мы не могли.
Первые месяцы было очень сложно морально из-за родителей, которые были против наших отношений, да и с мужчиной я до этого не жила, привыкала(не нравились некоторые поступки мужчины) и еще несколько факторов. На фоне всего у нас происходили ссоры, доходило до рукоприкладств, как с моей стороны, так и с его. Начинала это я. Понимаю что это неправильно, но речь не совсем об этом.

Сейчас прекратила говорить про свадьбу. Но мне некомфортно жить в качестве сожительницы и стало унизительно заниматься бытом. Вместе мы не первый год, любим друг друга. К слову, он уже был женат. 
Хочу услышать адекватное мнение со стороны. Ситуация двоякая, вроде можно и его понять, но а мне что делать ? Не хочу оказаться дурой, на которой в итоге не женятся.