AG hält sich nicht an Absprache bzgl. Krankheit

Hallo zusammen,
ich habe ein Problem mit folgendem Sachverhalt:
AN hatte nach einem Arbeitsunfall einen Krankenschein (verletzung am Fuß). Der Arzt wollte diesen verlängern, jedoch wurde mit dem AG die Absprache getroffen, dass nur leichte Arbeiten verrichtet werden sollen und der AN war einverstanden, sofort wieder zu starten. Insbesondere sollte er nicht bedienen (wegen des vielen Laufens) und keine schweren Dinge heben/tragen. Nun nahm der AN wegen dieser Absprache die Arbeit wieder auf und der AG erwartete plötzlich doch vollen Einsatz, es sollten Tische und Stühle getragen werden, laufintensive Arbeiten verrichtet werden. Nachdem der AN dies sogar versuchte, aber feststellen musste, dass er diesen Aufgaben noch nicht wieder gewachsen ist, wendete er sich erneut an den AG und rief ihm die Absprache noch einmal ins Gewissen. Der AG argumentierte, er bräuchte voll einsetzbare Leute und würde auch nur diese voll bezahlen. Die Arbeit wäre weiter zu verrichten. Hinzuzufügen ist, dass der AN überhaupt erst auf dringende bitte des AG wieder zur Arbeit erschienen ist, es herrscht arger Personalmangel. Nach dieser Diskussion hat der AN die Arbeit wegen der Verletzung vorzeitig beendet. Der AG spricht jetzt von Arbeitsverweigerung. Wie geht man hier als AN am besten vor?