Не хочу, чтобы парень без меня куда-то ходил

Живем с парнем в разных городах. У нас есть общие друзья. Они все живут в одном городе и частенько собираются в баре. Когда я приезжаю, мы ходим вместе. Когда меня нет - он один.
В чём же проблема? Проблема в том, что меня почему-то начинает бесить, когда он собирается куда-то. Он просто ставит перед фактом. Говорит, что собирается.
Я понимаю, что тут только мои проблемы. Ну не сидеть же ему дома все время, пока меня нет рядом. Как себя угомонить? Настроение сразу пропадает. Что мне делать?