Подставилась. Мне сразу увольняться ?

Добрый вечер! Бывший коллега повадился мне по дружески звонить после увольнения под предлогом узнавать что происходит на работе. Три года он звонил поболтать и между словом предлагал пересечься, чего я избегала упорно. Его жена и теща работают этажом выше со мной на данный момент. Я сама замужем и он это знает , мой муж тоже работает в нашей компании , но по другому адресу. Я избегала его , но грубо не посылала, он мстительный, опасалась. И он как то уговорил все таки с ним пересечься на пару часов. Пересеклись в его районе, он сказал боится где либо гулять в другом месте, вдруг увидят сотрудники. Он подвёл какими то путями к его дому и предложил зайти, выпить по пиву. Я как дура зашла, хотя отказывалась сперва. Его жена была на даче. Пока болтали , ему позвонила его жена, он пошел разговаривать с ней. Поговорили мы с ним один час и я ушла. Он не приставал, никакого интима не было.
Через несколько дней он сказал что забыл нажать на телефоне отбой когда говорил с женой и что его жена слышала мой голос.
Я лохонулась что вошла в из квартиру. Теперь мне стыдно перед ней все равно, хоть ничего и не было, мы с ней теперь не сможем нормально общаться, хотя она просто коллега. Если они узнали что я там сидела мне крышка. Я поступила не правильно, понимаю, не знаю почему вошла, он уговаривал зайти, посидеть на балконе.
Мне страшно! Что мне ей сказать, если будет задавать вопросы? Они мне жизни не дадут, до мужа моего может дойти.
Мне сразу увольняться ??? Или ждать пока она придет и смотреть на ее реакцию? #нуженсовет