Ребенок от первого брака

Всем здравствуйте!
Ситуация такая.
Живу с мужчиной, у него есть ребенок от первого брака. Когда только познакомилась с мальчиком, не могла от него оторваться, так как очень сильно люблю детей и мечтаю о своих.
Все было прекрасно. До того момента, пока в приоритет не стали ставить мальчика.
Изначально обусловились с молодым человеком о том, что проводим время с его сыном через выходные. Так как мне хочется провести время вдвоем из-за работы, на которой мы проводим по 12-16 часов в сутки.
Сначала придерживались этого уговора. Спокойно ездили в другой город к мальчику, играли, веселились.
Затем стали происходить ситуации, когда молодому человеку захотелось видеть сына чаще. Когда у меня случались форс-мажорные обстоятельства и мне нужна была его помощь, он все равно собирался и уезжал к сыну. В итоге он разорвал договоренность о том, что ездим через выходные и он теперь может ездить к сыну, когда захочет. Ведь кто ему еще поможет, он маленький.
Через некоторое время молодой человек обвинил меня в том, что у ребенка плохое настроение и истерики, ссылаясь на то, что я его сглазила. Поругались. Договорились, что я больше не подхожу к ребенку, не развлекаю, не опекаю, как раньше, так как просто боюсь, что буду без вины виноватая.
Теперь молодой человек говорит о том, что я не уделяю должного внимания его единственному родному человеку. Как быть? Я чего-то не понимаю? Возможно из-за того, что у меня еще нет своих детей, я что-то могу не догонять.