не зовёт к себе

Для современной женщины должно быть унизительно не иметь собственное жилье.

Может в своей он спит с другими женщинами, не думали об этом ?

Я думаю, в той квартире он живёт со своей женой

Нет, неунизительно. Какая ей разница где жить, главное - кто за это платит.
Она же ему не жена, они просто вместе живут.