Нет нормального общения с мужчиной

Нравится мужчина с работы.
По работе с ним общаемся, делимся смешными ситуациями, обсуждаем какие то задачи. Кроме работы не знаю о чем с ним поговорить , сразу начинаются односложные ответы. Спросила у него на прямую почему он такой не разговорчивый , говорит , что не может открываться и доверять всем , спрашиваю" я не внушаю доверия ? ", отвечает "спрашивай" и все по новой , отвечает очень кратко , о семье не рассказывает .
Так как на работе у всех на виду, предложила встретиться после работы, он отказался, говорит занят, у него стройка.
Смотрит на меня глаза горят, все время мне улыбается.
Надо бы переключиться на кого то другого, но тянет именно к этому.