Нужно отбивать. Друг скорее всего уже понял, что вы против него, и будет всячески склонять парня изменить вам.
Ну это его друг, он с ним не перестанет общаться, просто избегайте его и разговоры о нем.
Попросите своего парня, чтоб максимально ограничил общение между вами и его товарищем.