Vårdnadshavare som inte kan komma överens om umgängets utformning

Hej, jag och mitt ex har ett gemensamt barn på 6 år. Vi har gemensam vårdnad men ingen dom gällande umgänge. Sedan vi separerade, för fyra år sedan, har vi haft en muntlig överenskommelse och att barnet är varannan vecka hos respektive förälder. Ojämna veckor hos mig (mamma) och jämna veckor hos pappa. Detta år som ju har 53 veckor har lett till en konflikt oss emellan. Han vill fortsätta med varannan vecka rakt av så att han får ojämna veckor nästa år och jag vill inte det. Mitt förslag var att vi delar på vecka 1 så att barnet får träffa oss lika mycket och sedan återgår vi till tidigare överenskommelse där jag fortsatt har ojämna veckor. Han vägrar och säger att han kommer att hämta barnet vecka 1 oavsett vad jag säger. Jag har vänt mig till familjerätten och efterfrågat samarbetssamtal för att prata om detta. Han vägrar gå på samarbetssamtal, är otrevlig, ringer och skriker och hotar med att ställa till det. Jag undrar om det blir negativt för mig framöver om jag inte lämnar ut barnet till honom vecka 1? Jag tänker att jag dels har "rätt" att ha barnet båda veckor eftersom det är vår muntliga överenskommelse men också att jag tillgodoser barnets umgänge med sin pappa då jag försöker göra det bästa av situationen genom att erbjuda att dela på vecka 1. Tänker jag rätt eller fel? Han har ingen anledning (som skulle gynna barnet) till veckobytet mer än att han vill det.