Harzt IV Abmeldung, Arbeitsaufnahme Monatsmitte & ein Jahr später hohe Geldforderung

Hallo,
ich habe mich am 29.4.16 nach 1,5 Jahren Hartz 4 Bezug zum 1.5.16 beim Jobcenter abgemeldet, weil ich zum 15.4.17 einenn Job angefangen hatte. Per Telefon mitgeteilt, dass ich eine sozialversicherungspflichtige Tätigkeit bei einer Agentur annehme, unbefristet , Vollzeit, und der Bearbeiter sagte mir ich muss nichts mehr machen. Ich fragte, ob ich die Zahlung für Mai, die bereits auf meinem Konto war, direkt zurück überweisen soll. Er sagte, ich solle warten. Danach habe ich keine Zahlungen mehr vom Jobcenter mehr erhalten und ich dachte, das war erledigt, weil auch nichts kam.

Einzig habe ich dann im September so einen Schriebs erhalten, dass ich Anlage EKS nachreichen soll, aber ich, dachte, das war ein Systemfehler, dass ich den Brief bekomme, denn ich habe ja auch kein Geld mehr von denen erhalten. UND es gab nicht eine Drohung, dass sie mir die Leistungen einstellen, spätestens da wäre ich ja darauf aufmerksam geworden, dass sie mich noch als "leistungsempfänger" geführt habe, den es zu prüfen gilt. Nach einem Arbeitsvertrag hat mich niemand gefragt.

Heute, über 1 Jahr später kommt ein Gelber Brief und da steht drin, sie wollten das Geld für April und Mai 2016 zurück haben. Ich verstehe ja, dass sie das Geld für Mai haben wollen. Ich befürchte, die haben mich als Selbstständige weitergeführt und dachten, sie müssten prüfen, ob ich noch Leistungen bekommen, dabei hat mir der Mann am Telefon ja gesagt, ich brauch nichts machen, da ich ja Vollzeit arbeitete und er sich den Namen der Firma notiert hatte. Man liest ja im Internet auch, dass man sich forlos abmelden kann bei Arbeitsaufnahme. Die Zahlungen hatten sie ja auch einfach eingestellt ohne mir zu drohen oder so.

Ich hatte gelesen, dass man sich formlos beim Jobcenter abmelden kann und wähnte mich daher im Recht und dachte, dass ich noch Anspruch auf den April habe, weil das erste Gehalt ja am 1.6. kam, was ich dem Sachbearbeiter ja auch alles gesagt habe. Sprich die haben mich falsch informiert und nun soll ich 1400 Euro zahlen, anstatt 700 wie ich das erwartert hatte.

Was kann ich nun machen? Ich bin ja bereit, den Mai 16 zurückzuzahlen, aber nicht April. Andere Briefe zu Geldforderungen habe ich nicht bekommen.

Jetzt frage ich mich, habe ich irgendwelche Rechte, auf die ich ich berufen kann, oder muss ich denen alles harklein erklären und auf Kulanz hoffen?

Danke für Tips,
Gruß, Ina