50m Regelung - Gartenhaus darf nicht als Ferienhaus genutzt werden (Nds.)

Kurze Erklärung wie der Fall aussehen könnte:

Grundstück mit Wohnhaus in Niedersachsen und großem Gartenhaus wird gekauft. Aus dem Gartenhaus soll ein Ferienhaus werden - es wurde bis dato auch als solches umgebaut und teilweise von Angehörigen der Verkäufer genutzt - da es sehr idyllisch liegt und von rückwärtiger Grundstücksseite problemlos erreicht werden kann.

Nun - kurz vor Übernahme - soll das Bauamt angeblich sagen, dass im Radius von mehr als 50m vom ersten Gebäude des Grundstücks keine Nutzung als Ferienwohnung erlaubt und die Idee hinfällig ist...

Kann das sein!? Kennt jemand den Gesetzestext oder eine Grundlage dazu?