Сотрудник-Психопат, манипуляции

Дорогие форумчане! Нужен ваш совет!
Я несколько лет назад устроилась через общих давних знакомых- через семейную пару, работать в месте с ними в одну компанию. Я сама замужем и ранее, моего мужа они устраивали так же в эту же компанию, только на другой филиал. Сама работа хорошая, но дальше стало происходить странное. Сначала мы ездили втроём на работе на их машине, жили рядом. Затем ее перевели на другой филиал и я ещё какое- то время ездила с ним до работы. Это было моей ошибкой, но вы не поверите, он обижался и шантажировал работой если я с ним не ездила. Он заставлял, именно заставлял!!! утром с ним разговаривать , пока он за рулём. Когда я молча ехала, он начинал докапываться почему я молчу, почему у меня плохое настроение. Я как то раз сказала " я не клоун в цирке" , что болит голова, что его слушаю, а сама говорить не хочу. На что он сказал что я такая скучная, что обязана ехать с весёлым лицом и говорить. Очень сильно обиделся на меня, даже не брал трубку потом по работе.
До этого он (муж моей уже бывшей приятельницы) подкатывал ко мне. Склонял к сексу ( пытался шутить на эту тему). Я дала отпор. Он разозлился на отказ. И теперь манипулирует и шантажирует меня при любой возможности до сих пор. Я сказала его жене, но она не поверила мне,говорит он всегда шутит на словах так со всеми, и сказала что сами разбирайтесь. Она моложе его. К
Я боялась нагрубить этому товарищу, он очень неуравновешенный человек. Но почему он не боится никого обидеть? Он сам говорил -со злости может делов натворить. А ещё он словом в шутку может по всякому обозвать, но если это что то говорят ему , то он сразу в обиду на полном серьёзе. Я и сейчас боюсь его, он все эти годы меня шантажировал и запугивал семьёй и работой. Малейшее слово нельзя было сказать поперек.
Я даже пойду у психологу по этому поводу, но хотела услышать совет от вас. Где я допустила ошибку что дошло до шантажа и манипуляции? Как не бояться?