Отношения с бывшим. Стоит ли начинать?

Я запуталась. Пару дней назад я встретилась с мужчиной, с которым рассталась уже 4 года назад, два года мы с ним совсем не виделись, изредка переписывались, поздравляли друг друга с праздниками. Он женат (гражд. брак, дети взрослые), у меня есть муж (гражданский, уже год вместе). Решили просто встретиться, посмотреть друг на друга, поговорить. В итоге, провели вместе 4 часа, бесконечные поцелуи, ласки. Все это время были в ресторане (ночном). Он хотел продолжить, спрашивал, чего я хочу еще. Я молчала, не хотела, боялась. Он проводил меня, я не пригласила. При встрече я думала, что вот оно, осень отношений, все прошло. А зашла в квартиру и поняла, что не могу без него, до сих пор люблю. Он не пишет и не звонит. Я не знаю, что мне делать. Только не надо осуждать, типа, что вот связалась с женатым и т.п. Сама писать и что-то предлагать ему я боюсь...