Его обижает недоверие с моей стороны

Хотела посоветоваться, мой МЧ устроился на работу, я узнала, что есть начальница с которой он по рабочим моментам общается лично, знаю, что она зовёт его к себе в кабинет выполнять вместе работу, он может поинтересоваться когда она приедет, чтобы пообщаться по работе.
Мы бывает ссоримся и последнее время вижу с его стороны охлаждение.
Я не молчу и говорю ему, на что слышу, что проблема в наших отношениях, а на работе ему никто никогда не был интересен и он никогда не делает то, что может меня как-то опорочить. Его обижает такое недоверие с моей стороны. А я не понимаю, что за панибратское общение? Эта дама, вроде, замужем, и кстати, его за это время повысили и он стал больше взаимодействовать с ней, решать общие дела. Бывает задерживается с работы, я нервничаю. Вот думаю... Зря накручиваю себя или реально все непросто так?