Не хочу брать фамилию алкоголика

Скоро выхожу замуж.
С детства всегда знала, что возьму фамилию мужа. Мне моя не нравится да и я считаю что у матери с детьми не может быть разных фамилий.
Но есть нюанс.
Моему мужу в 7 лет поменяли фамилию на фамилию нового мужа мамы (отчима).
Этот отчим алкоголик. Пару раз в жизни только видела его трезвым. Человек мне неприятен.
Получается, если возьму фамилию мужа, то и фамилию этого мерзкого человека.
Муж говорит: это фамилия моей мамы и моего брата. Менять не буду.