Проблема с родителями мужа

С мужем в отношениях у нас все хорошо, но есть проблема которая не даёт нам жить спокойно и это наши родители. Нет они не лезут к нам в отношения и не дают непрошенные советы, но как только тема заходит о родителях мы обязательно ссоримся. Ситуация начала накаляться с того что мы переехали жить к родителям мужа, площадь дома позволяла нам жить у них и иметь свой уголок. Мои родители живут в другом городе и моя мама приезжала раз в месяц в больницу и соответственно останавливалась у нас, при переезде к родителям мужа мы обговаривали этот момент и они дали свое согласие что мама так же сможет останавливаться у них. В итоге когда мама приехала у нас возник конфликт с родителями мужа (история длинная). Когда приехала мама мы с мужем договорились что сегодня я проведу вечер с мамой так как я по ней очень соскучилась, муж согласился и пошел заниматься своими делами, а мы с мамой были в нашей с мужем комнате. В итоге в ситуацию стал вмешиваться свекр, почему его сын вечером когда ему нужно отдыхать не в своей комнате. Я была в шоке, естественно мою маму и меня это задело и очень обидело. Фразу "я здесь хозяин" от свёкра я не забуду никогда. В итоге конфликт умяли на следующий день, но осадок то остался. После этого случая мы сразу же съехали от родителей на съёмную квартиру. А сейчас встал вопрос о строительстве дома. В планах у родителей мужа было построить себе маленький домик переехать туда и в большой дом заехал бы мы с мужем (участки находятся через дорогу друг от друга), но после слов что свекр здесь хозяин ,как я могу туда переехать и всю жизнь чувствовать себя никем ? Я настояла чтобы маленький дом строили мы для себя, но есть проблема в том что на участке родители садят огород и на участок у них есть свои планы которые не совпадают с нашими. То есть мы построим дом и все равно я не буду чувствовать себя там свободно и комфортно, я же не скажу чтобы они к нам не заходили на участок. Как бы вы поступили в этой ситуации? Очень нужно мнение со стороны.