Baumängel 5% Restzahlung einbehalten ?

Hallo,
Ich habe 2015 ein Schlüsselfertiges Haus bei einer größeren Firma bauen lassen
es sind natürlich Mängel aufgetreten in Form von falscher Ausführung, Pfusch usw.
diese Punkte habe ich mit der Firma bei der Abnahme festgehalten.
Die Baufirma hat versucht ein paar Mängel min. 3 mal zu beheben es ist ihnen aber nicht gelungen Zudem sind 5-9 mal schriftlich gesetzte Fristen nicht eingehalten worden.
parallel lag die Schlussrechnung in meinem Briefkasten lag habe ich mit der Baufirma abgemacht das ich 5% bis zu Mängelbeseitigung einbehalte. Die war auch für die Firma in Ordnung.
Im Sep. ist die Abnahme 2 Jahre her. und es bewegt sich seit März 2016 nichts mehr der Bauleiter hat mir bis dahin auf meine Anfragen zwar geantwortet er kümmert sich wird gemacht.
es ging aber nicht weiter , vor allem als ich nicht mehr (genervt) habe.
Für mich wäre es auch ok wenn ich die Mängel selbst behebe und die 5% einbehalten. Darf ich das ?
Gibt es eine Verjährungsfrist für das Geld ?
Ich habe die Abnahme nach BGB mit der Firma vereinbart.