Sichtschutzzaun - Ärger mit Nachbar :(

Hallo!
Unsere Nachbarn (ca. 50 - 60 Jahre) sind ziemliche Besserwisser. Alle haben sich an Gesetze und Vorschriften zu halten, nur die beiden nicht. Wir sind übrigens 25 und 30 Jahre alt. Zwei Jahre leben wir jetzt nebeneinander. Dann haben wir ein Beet angelegt, was ihm missfiel. Ständige Anrufe nach 22:00 Uhr folgten!! - die wir geduldig ertragen haben und immer nett geblieben sind. Dann haben wir einen Sichtschutzzaun (1 Feld) aufgebaut, das leider nicht ganz fest war - wir haben das aber nicht gemerkt. Jedenfalls sprach mich dann im Oktober mein Nachbar deutlich erbost an, dass wir den Zaun festmachen sollen und wackelte stark dran. Ich sagte ihm, dass wir das nicht mitbekommen haben und das sofort ändern werden, was auch geschah. Daraufhin wurde er richtig laut "Heute noch!". Da konnte ich mir die Frage nicht verkneifen, was wir ihm eigentlich getan haben, dass er uns ständig so angeht (es war ja auch nicht das erste Mal). Das hätte ich mal lassen sollen - der holte richtig aus. Seiner Meinung nach verstießen wir gegen jegliches Recht. Wir haben daraufhin (ohne Nachbars Wissen) unseren Anwalt befragt, der uns allerdings bestätigte, das wir alles beachtet hatten. Wir wollten ja keine Fehler machen. Danach ließ er uns eine ganze Weile verbal in Ruhe. Nur musste ich ständig ertragen, dass er mich beobachtete, wenn ich im Garten war. Fotos machen inklusive. Der muss schon ne ganze Sammlung von uns haben. Sein Grundstück ist 1,20 m höher (er hat künstlich erhöht) als unseres - er würde uns also immer beobachten können. Nachgefragt hatte er bei uns mal auf 50 cm, die wir ihm damals auch gestattet hatten (schriftlich). Nun haben wir (wieder nach vorheriger Erkundigung beim Amt) einen Sichtschutzzaun errichtet. Grundstücksgrenze, 4 Felder, entlang unseres Beetes. Für die kurze Zeit des Bestehens für mich eine richtige Wohltat, sich mal ganz normal im Garten bewegen zu können. Jetzt flatterte uns ein Schreiben ins Haus, dass dieser Sichtschutzzaun ihm jeglichen Ausblick verwehre und er bis Ende Mai wieder abgebaut werden soll, sonst leite er weitere Schritte ein. Seine Heckenrosen dahinter sind genauso hoch wie der Zaun!!! Mein Mann will den Zaun stehen lassen und es drauf ankommen lassen. Die anderen Nachbarn finden den Zaun ebenfalls sogar schön.
Nur ich mache mich total fertig und weiß nicht mehr weiter. Bin nur noch am Heulen. Will mich aber auch auf keinen Machtkampf mit ihm einlassen oder den Anwalt wirklich einschalten. Das verhärtet doch nur noch mehr die Fronten. Ich will mir aber auch gleichzeitig nicht alles bieten lassen.
Was meint ihr? Bitte helft mir. Danke!!!