Стоит ли разрывать отношения с ним? Вроде хочется, а вроде и нет

Я в декрете, мне 26 лет. Летом я поехала на море с мужиком с работы, которому 45 (вернее я поехала с ребенком, а он в соседнем номере был), ну и он меня напоил и развел как девчонку. В общем у нас был курортный роман, а как только он закончился, он начал приходить ко мне в гости. Ну то есть в пятницу после работы приходит ко мне, и в понедельник утром идет на работу. Иногда и среди недели тоже после работы ко мне приходит. По дому помогает, ему нравится что-нибудь чинить, с ребенком играет, ощущения с ним совсем другие, не как с мужем были. Ну и мне как-то постоянно приходит мысль, что нужно разорвать с ним отношения и выгнать его, но с другой стороны не могу этого сделать, потому что импонирует внимание, и с ним очень комфортно. Но он не предохраняется, и меня это пугает. Плюс разница в возрасте 20 лет. И вот то такая мысль придет, то такая. Как будто с одной стороны хочу от него избавиться, а с другой меня прям тянет к нему. Вот как быть?