Не состоялся секс

С мужем много ссорились (бытовуха, мелкие обидки), спали отдельно (привычка, работаем в разные смены, он меня не будит,я его).
Вчера легли вместе, так как у меня был сонный паралич и снились кошмары, и мне было страшно спать.
Легла к нему спиной, боком , чувствую, у него встал. Он начал приставать. А я в шутку говорю, нет, не дам мол. А он - это мы ещё посмотрим. И когда я сказала, ну ладно, давай мол.. он сказал, что ладно, ты права, не надо. И ничего не было. Почему так?:( Что делать?