Как расстаться с любовником?

У меня есть муж, с которым я живу. И есть любовник, который находится на сво. С ним мы встречались когда я была в ссоре с мужем. Скоро он приезжает домой на неопределенный срок. И теперь я не знаю как быть. Все время пока он на сво, мы постоянно поддерживаем общение. Боюсь, что когда приедет, может придти ко мне домой без оповещения и встретится лбами с мужем. Причем они знают оба друг друга в лицо.
С мужем расставаться не хочу, но и любовника бросать не хочу.
Хочется с ним видеться хоть изредка и общаться. Что делать не знаю. Понимаю, что это плохо все. Но даже если расставаться, то что я ему скажу? Как быть?