Говорят бросать, но я не хочу

Ну а если соседи вам с крыши сбросится скажут？Странная постановка вопроса: мужик хороший, но соседи говорят...однако.
Но иметь эти слова ввиду стоит, и если будут предпосылки （замахивания, необоснованная ревность и агрессия）тогда да, стоит бросить.

А соседи с ним спали? Соседи говорят. А чем они доказывают это или просто из пальца высосали?

Если у Вас проблемы в отношениях и Вы хотите получить реальную помощь , а не разговоры- обратитесь к одной женщине. Она мне помогла разобраться в моих отношениях и многое узнать своем мужчине . Она- хороший астролог. Она поможет Вам все узнать о себе, своей жизни, карме, разобраться в отношениях, точно скажет -является ли Ваш мужчина Вашим по судьбе , и что делать нужно. Напишите ей Helpkonsul4@yandex.ru

А своим умом жить не получается?

Не спали бы, так не говорили. Просто ее мужик переспал с соседями обоего пола. Точнее сказать, выиппал весь подъезд.