Сказал, что хочет строить карьеру, а не семью

А сколько лет ему? может рано еще семью, а карьеру делать никогда не рано и никогда не поздно.

Ну, видимо, он не слишком сильно в вас влюблен, чтобы удерживать вас браком. С вами ему удобно в том формате, который сейчас. Если встретит девушку, в которую сильно влюбится, работа не помешает ему жениться. Вопрос в том, насколько такие отношения устраивают вас? Вам остается только принять тот факт, что семьи с этим парнем у вас, скорее всего, не будет.

Автор, а вы ему предъявляли претензии на тему "ты слишком много работаешь и не уделяешь мне внимания", или он сам по себе на работу стал задвигать?

Просто за 4 года вы сильнее привязались, а он уже остыл. Мужчина любит, пока не привык - известная фраза. Влюбится в другую, моментально побежит жениться. Обидно, но факт.

Мы при чем? Его спросите.
Что за отношения такие, если замалчиваются ключевые вопросы?