Родственники мужа

Это не проблема. Это просто неприятность.
Как справляться? Да никак не лезьте к ней. Она вам, по сути, чужая тётя.
А муж хочет - пусть ходит к своей родне.

А Вы-то тут причём? Это родственники мужа, пусть он их и развлекает, если до сих пор этого хочет.
Не нравится Вам с ними контактировать - ну и фиг с ними, пусть муж с их внуком к ним ездят в гости, а Вы это время себе и своему первому ребёнку посвящайте (часто такие детки так или иначе себя "лишними" могут ощущать после рождения общих детей).
Всё это - в крайне доброжелательной по отношению к мужу форме, без претензий - просто "ну ты же знаешь, что мне там не рады, зачем я буду раздражать их лишний раз и давать поводы для новых осуждений? но даже при этом я совершенно не хочу препятствовать их общению с их сыном и внуком, это не по-людски".
Вуаля! - и нервы сохранены, и отношения в вашей семье всесторонне укреплены)

Если муж адекватный, перестанет общаться с такой мамашей. Мой перестал.

Моя лишилась сына как только сказала что двух внуков много. Как только она так сказала я прохожу мимо не обращаю на неё внимание.

У меня в чём-то похоже.
После многолетних попыток наладить отношения я просто перестала с ними общаться. Если случайно встречаю - здороваюсь, хвалю погоду и убегаю по срочному делу. Понятно, что за моей спиной они обо мне хорошо не говорят , но я стараюсь об этом не думать, чтобы не портить себе жизнь лишними переживаниями о том, что изменить не в состоянии.
Зато об этом думает мой муж, и к родителям ездить не рвётся. Глупая свекровь теряет сына. Внуки выросли без них. Деда на улице узнАют, наверное, т.к. муж - его копия, а мимо бабушки пройдут, не узнав.
Я никогда не препятствовала детей к бабушке и дедушке возить, просто сама не возила. А муж не рвался. Пару раз всего свозил за их детство. Свёкры и внуков потеряли.
Так что и Ваши сами себя наказывают своим немудрым поведением.
Вот откуда берутся одинокие старики. От характера своего и поступков.