Sorgerecht - Ist das wirklich "Kindesentziehung"?

Hallo, vielleicht kann mir hier jemand weiterhelfen...
Bin seit 4 Jahren geschieden, seit 6 getrennt, wir haben zwei Kinder. Mein Ex hat erst während der Ehe die deutsche Staatsangehörigkeit angenommen, ich bin Deutsche. Seit über einem Jahr ist der Vater in sein Herkunftsland zurückgekehrt in Afrika. Er zahlt nicht und kümmert sich nicht. Etwa einmal im Monat ruft er an, das ist alles was an Kontakt besteht. Ich habe von ihm keine Adresse, Telefon und auch sonst keine Informationen, nur eine mail-Adresse, aber er reagiert immer erst nach Wochen auf mails. Trotzdem haben wir noch das gemeinsame Sorgerecht. ich wollte die Kids mit dem langwierigen Verfahren nicht belasten.
Inzwischen habe ich einen neuen Partner in Frankreich und auch einen Job dort (hier arbeitslos). Wegen gemeinsamem Sorgercht musste ich meinen Ex ja fragen, der verweigert die Zustimmung. Er hat hier eine Anwältin und bekommt offenbar noch PKH, da er ja Deutscher ist, die hat er jetzt involviert.
Ich muss aber gehen, habe die Wohnung gekündigt, den Arbeitsvertrag utnerschrieben. Es ging alles total schnell und vorher fragen konnte ich ihn nicht, da er wochenlang sich nicht gemeldet hat.
Ehrlich gesagt fände ich es auch eine Frechheit wenn er uns hindern könnte, will er die Kids besuchen, kann er das in Frankreich genauso und sonst ändert sich doch für ihn gar nix. ER hat sich schließlich aus der Verantwortung gezogen!

was glaubt ihr, was kann passieren? Kann er mich zwingen, hier zu bleiben? Ist das wirklich "Kindesentziehung"? er ist doch gar nicht hier! Aber genau das behauptet jetzt seine Anwältin.
Und welches Gericht wäre später für die Kinder zuständig, wenn wir mal da leben: dort oder hier? Wenn es so weiter geht, will ich sicher das alleinige Sorgerecht haben!