Как избавиться от этого ощущения ?

"бедный несчастный человек" вы потому, что сильно ориентируете свое восприятия через других людей. Видимо, вам в детстве пришлось сильно (как результат - до болезненности) следить за настроением старших, кто имел и оказывал на вас непосредственное влияние.
Как быть? Мысленно, усилием воли и разума, Всех послать Буквально (как личностей, как людей, эмоционально, кого надо - физически) и решить для себя, что теперь буду учиться прислушиваться только к своим Здоровым потребностям и необходимостям и пользе.
Но для этого необходимо искоренить старые привычки взаимодействия (которые у вас были и есть с людьми), которые в вас воспитали определенные черты, маркеры поведения и т.д, отследить их токсичные нити, которые вас теперь дергают и искоренить их, повторю. Параллельно сравнивая, а как бы вы думали и чувствовали, будь вы изначально в здоровой обстановке и применять это к себе сейчас.