Umgang Kindsvater

Hallo, ich habe eine Frage zum Umgangsrecht. Ich würde kurz meine Situation schildern.

Ich habe einen Sohn mittlerweile 11 Monate alt.
Nach der Geburt ist der Kindsvater bei uns ausgezogen. Grund war seine 17 jährige Tochter die aller 14 Tage kam und wegen der wir uns nur gestritten haben (das ist allerdings eine andere Geschichte und würde jetzt zu weit führen). Er wollte mich damals schon vor der Geburt verlassen hat mich auch zur Geburt allein fahren lassen war dann später aber doch mit dabei. Hat mich in der Zeit auch sehr emotional immer unter Druck gesetzt sodass ich froh bin, dass mit dem Baby dann alles in Ordnung war. Wie gesagt er ist dann ausgezogen. Wollte den kleinen dann aller 14 Tage haben allein. Ich habe mich damals beim Jugendamt beraten lassen. Der Mann meinte es gibt keine Reglung aber der Vater müsse erstmal überhaupt eine Bindung zum Kind aufbauen. Es zb regelmäßig besuchen sich an Absprachen halten am Alltag einfach mit teilnehmen. Nun ist es so er ist selbstständig hätte nie Zeit kam wie er wollte kam dann mal wochenlang nicht hat sich ein Monat dann nicht gemeldet und meinte dann nach einem Monat „kann ich morgen meinen Sohn haben" ich habe ihm immer wieder ordentlich gesagt was der Mann vom Jugendamt meinte. Mal ging das gut dann kam wieder eine seiner Launen und er wollte den kleinen weg holen. Das geht jetzt schon die ganze Zeit so. Letztens meinte er noch er ist so froh, dass ich so eine tolle Mutter bin wie ich das alles allein mache, weil er keine Zeit hätte zwecks selbstständig. Es kam jetzt auch schon vor das wir uns was ausgemacht haben und er nicht kam weil er angeblich fix und alle von der Arbeit wär. Das ist meistens seine Ausrede. Jetzt kam er plötzlich und wollte den kleinen mit in den Urlaub nehmen. Ich stille allerdings noch und er hat genau in diesen Wochen Kita Eingewöhnung (was ich auch alles allein organisiere). Ich habe ihm jetzt gesagt das würde nicht gehen. Er ist komplett wütend und meint er würde nicht mehr nach seinem Sohn betteln ich gebe ihm ihn nicht allein mit in Urlaub darf er nicht mit aber Hauptsache den Unterhalt würde ich mir einstecken. So ist es aber nicht im Gegenteil ich hab immer gefragt wann er kommt zu Besuch und wir sind sogar auf seine Baustellen gefahren und haben ihn besucht. Heute habe ich bei unserem zuständigen Jugendamt angerufen. Die Frau wollte ein Gespräch mit mir und dann mit ihm zusammen hat mir gleich einen Termin gegeben. Eigentlich will ich nicht das sich da das Amt mit einmischt ich wollte nur mal einige Sachen wissen zum Beispiel : muss ich den kleinen allein mitgeben? Er war noch nicht so oft da das er überhaupt was vom kleinen weiß. Und ich vertraue ihm auch nicht. Der vom Amt meinte damals solange ich kein Vertrauen habe muss ich auch nicht mitgeben. Und ab wann muss der kleine über Nacht mit zu ihm? Zumal er in Verhältnissen wohnt, die ich gesehen habe die nicht dem Wohle des Kindes entsprechen würden, das weiß er auch.
Weiterhin will seine Mutter die mich auch die ganze Schwangerschaft nur fertig gemacht hat und zu der bisher kein Kontakt war sich das Umgangsrecht einklagen. Ich habe auch Angst das er wenn er den kleinen hat zu ihr geht, weil sie den kleinen aufhetzen würde ( hat oft genug beim Kindsvater geklappt, was auch ein Grund für unsere Trennung war). Ich weiß einfach gar nicht wie ich mich verhalten soll.