Человек пользуется мягкостью моего характера?

Развернулась, ушла. Что не понятно то? Не общайся с такими людьми. Пока будешь это терпеть - будешь терпилой.

Вам не характер нужно делать твёрже, а не подпускать именно таких людей к себе близко, держать их на расстоянии. Это психопаты и люди с неуравновешенной психикой. Они втираются в доверие, ищут слабое место и когда находят бьют именно по нему. Получают при этом наслаждение и самоутверждается т.о..
Если отойти от такого человека не возможно, то пользуйтесь их же оружием.

К сожалению, придётся все равно контактировать. Замечаю, что к остальным людям относится нормально, либо они тверже, либо он их хорошо не знает поэтому так
Помню, что один раз нагрубила человеку и потом сразу же позвонила и извинилась, значит она замечает что говорит и делает

Это ещё и мужик?
Тогда знает,что вы не защищены и самоутверждается за ваш счёт. Женщина должна быть защищена, значит у вас слабая защита и он этим пользуется.
Не бойтесь его, а ставте на место. Это слабый мужик. Сильный такое делать не станет.
Это малоприятно, отвлекает от своих дел, вынуждает вас ввязываться в его игру. А ведь опереться он может только на того, кто сопротивляется. Может отойти от него в нужный момент и перестать быть опорой?
Он вынужден будет переключиться на кого-то другого.

Это женщина
Но в целом так и есть, скорее сам слабый человек самоутверждается