Mündlicher Kündigung/Absprache

Hallo zusammen,
ich habe eine verzwicktes Problem wegen eines Umzuges
Ich habe mit meinem Vermieter abgesprochen sobald meine neue Wohnung bezugsfertig ist werde ich ausziehen und dies wird frühestens am 15.10. spätestens am 1.11. soweit sein. Diese Absprache habe ich als Nachrichtenprotokol.
Als ich für den ersten einen Termin zur Übergabe ausmachen wollte meinte er ich müsse die Novembermiete auch noch zahlen da der Nachmieter abgesprungen ist weil sich der Auszug so hingezogen hat. Ich hatte eine Absprache mit Ihm die auch in Whatsapp stattgefunden hat und ich beweisen könnte. Er hält sich leider nicht dran.
Ich habe die Wohnung nicht gekündigt weil ich ihm vertraut habe (wohne hier seit 9 Jahren).
Zurückgesteckt hab ich auch vor allem was die Fenster angeht (undicht, porös schließen nicht richtig) weil er meinte Reparatur bei Auszug und jetzt hätte er eigentlich Zeit dies endlich anzugehen möchte aber nur Geld. Ich denke er hat sich allgemein verkalkuliert was dass Vermieter sein angeht.
Er hat noch die Kaution und ich denke er will sie teilweise behalten aufgrund dieses Streites.
Wie könnte ich vorgehen.
Vielen Dank schon mal im voraus!