Муж со временем стал свободней

Детский сад.

Плохо ваше дело.
Когда он "изначально" объявил свои требования, они были для вас, себя он не имел в виду. Об этом не говорят, это само собой разумеется. Вы отмахнулись. А надо было задуматься для кого и зачем он всё говорит.
Далее. Создаётся впечатление, что муж мало занимается ребёнком. Надо, чтобы он время, силы и здоровье тратил на него, как и вы. Не будет время на шуры-муры.
Мужчины на работе работают и устают. Ваш, похоже, не устаёт ни на работе, ни дома. Скучно ему. Замужняя женщина с детьми самый удобный вариант. Не придёт к вам с требованием, отдай мужа. Вы ему безразличны,он и улыбается. У него всё хорошо. Удобно устроился.
Вы "изначально" вышли замуж за человека, который не ценит семью, брак, ДОГОВАРИВАЕТСЯ о верности, доверии. Он безответственный был и есть.
Что он делает для семьи? Как помогает в быту, с ребёнком? Сколько часов гуляет с ним? Ходит ли за продуктами? Встаёт ли по ночам? Или вы ему создаёте условия для развлечений? Вы жена или няня?

Попросите его не скрывать ничего от вас, ложь это как снежный ком, маленькая ложь потянет большую.
Спросите, что ему не хватает. Может он видит, что ваше внимание уходит на ребёнка, ему меньше достаётся, успокойте его, что это нормально, он важен вам и ребёнку как муж и отец.
Не стыдитесь своей искренности, будьте открытой. Если он узнает, что вы за его спиной советуетесь с кем-то, может ещё больше отдалиться.

Вы теперь все свои задачи и проблемы должны решать совместно, ведь вы союзники, а не соперники?
Что за детский сад? Вы сами ещё незрелые, а уже играетесь в "серьёзные отношения". Это не игрушка, это ваша жизнть и жизнь ваших детей.
Все эти вопросы вместе решайте. Совет да любовь.