Umgang mit "fremden" Vater

Ich habe 2 Kinder im Alter von 6 und 8. Während der Ehe war das Interesse des Vaters an seinen Kindern eher mangelhaft bis dass er sie als störend empfunden hat. Nach der Trennung vor 3 Jahren liefen die Umgangskontakte sporadisch ab, mehr so nach dem Motto, wofür er bezahlt, will er auch bekommen. In der Besuchszeit blieben die Kinder nach Erzählungen oft sich selbst überlassen, wobei er nicht ausgelassen hat, ihnen in der Zeit mitzuteilen, dass ich nicht in der Lage bin, den Kindern ausreichen Ressourcen, wie Kleidung etc. zur Verfügung zu stellen, weil ich jetzt arm bin. Es ist auch vorgekommen, dass er die Kinder noch am gleichen Tag wieder zurückbrachte, weil sie frech waren....
Ein schwerer Unfall sorgte dafür, dass er im letzten Jahr ein Gedächtnisverlust erlitt. Seit einem Jahr haben die Kinder keinen Kontakt mehr und sich seitdem positiver entwickelt, als in allen Zeiten davor. Die Wut und auch die Rastlosigkeiten, die damals vorherrschten sind verschwunden. Wobei sich meine Tochter immernoch in Behandlung (Psychotherapie, Ergotherapie...) befindet aufgrund einer Entwicklungsverzögerung, die der Stress in ihren jüngsten Jahren auslöste.
Nun sollte ein Kontakt angebahnt werden, begleitet durch das Jugendamt. Eingestielt wurde dies durch seine Eltern, die ihn derzeit betreuen. Ich habe bis heute alle Termine (Mediationen, Beratungsgespräche) eingehalten und auch zugelassen, dass die von JA geschickte SpFH ihre Arbeit an den Kindern leisten konnte. Trotzdem ist die Situation jetzt so, dass die Kinder nicht zu ihrem leiblichen Vater wollen. Partout nicht! Sie haben es mehrfach geäußert, sich in ihren Zimmern eingeschlossen wenn die SpFH kam, die SpFH ignoriert und ihr auch gesagt, sie solle nicht mehr kommen und auch einen Brief verfasst, in dem sie erklären, dass sie von der ganzen Sache nichts mehr wissen wollen. Der Vater selbst kann sich an sein Leben vorher nicht erinnern. Er kennt die Kinder also nicht. Aus Erzählungen weiß er allerdings von ihnen und möchte sie kennenlernen. Er ist selbst stark beeinträchtigt, geistig wie auch körperlich. Die Kinder möchten damit nicht konfrontiert werden und lieber ihr Leben leben, wie es jetzt ist. Ich habe einen neuen Partner, der sich sehr väterlich um die beiden kümmert und auch von den Kindern als Papa akzeptiert und gebraucht wird. Meine Tochter wünscht sich nichts mehr, als dass er ihr Papa wäre und sie endlich eine heile Familie hat. Mein Sohn kann sich an andere Zeiten gar nicht mehr erinnern. Für ihn war alles immer schon so wie jetzt. In der Schule und im Kindergarten verneinen sie, einen anderen als meinen neuen Partner als Vater zu haben. Kann es wirklich zu einer Rechtssprechung kommen, nach der die Kinder Umgang mit dem mittlerweile fremden, selbst gesetzlich betreutem und geistig retardierten leiblichen Vater haben müssen, weil er das so will? Ich mache mir Sorgen und es zerreißt mir das Herz!