De aanleiding tot de restauratie van de Duiventoren aan het Zwanenwater t.o. Huize de Heiligenberg waren 3 foto’s van de toenmalige Leusdense fotograaf  Carel Elemans, die hij had ingezonden voor Leusden Aardig Vaardig, een driedaagse culturele manifestatie,die elke twee jaar georganiseerd werd door de Lions Club Leusden. Hieruit  is later de Culturade ontstaan.

Carel uitte zijn bevreesdheid, dat er over 3 tot  4 jaar niets meer over zou zijn van de ruïne van de duiventoren. De duiventoren, was bij de Leusdense bevolking nauwelijks bekend, omdat het eiken en berkenbos er omheen nogal verwaarloosd was en je de resten van wat eens de duiventoren was geweest, van de weg af, bijna niet kon zien.

Van het boek Nederlandse Duiventillen door H.W.M. Giezen - Nieuwenhuys en C.C.S. Wilmer werd het eerste exemplaar aangeboden aan de Commissaris van de Koningin van de provincie Utrecht Jhr.drs.P.A.C. Beelaerts van Blokland. De heer Beelaerts hield een geweldig verhaal over duiven en duifhuizen. De aquarel van de Duiventoren bij het Zwanewater hing op de tentoonstelling en staat in het boek( pag.62 en 92). 

De Historische Kring Leusden stond positief tegenover het project. De eigenaar Stichting “De Boom” in het begin zeker niet. De omslag kwam veel later, toen de Werkgroep / De Historische Kring kon garanderen, dat  de restauratie Stichting “De Boom” niets zou hoeven te kosten en dat er ook een beheers / onderhoudsfonds gerealiseerd kon worden, zodat de duiventoren ook voor de toekomst veilig gesteld was.

Veelvuldig werd in deze fase een beroep gedaan op de lokale media.Er werd door de werkgroep samen met de pers een bezoek gebracht aan de ruïne.(maart 1987). De heer B. Steinmetz en zijn ouders woonden sinds lang in een woning gelegen nabij de Duiventoren. Zij hadden veel informatie en een foto uit 1968 toen de Duiventoren nog een spitse toren had en omringd was door rododendrons.

In september van dat zelfde jaar werd ook met de commissie Welzijn van de gemeente Leusden  een bezoek aan de ruïne gebracht. In de vitrines in het gemeentehuis werd een expositie ingericht van o.a. foto’s van panden uit de gemeente Leusden, die inmiddels al verdwenen waren. Hopende dat deze expositie gunstige gevolgen zou hebben voor het behoud van de Duiventoren. Een foto tentoonstelling van Franse duifhuizen in het Claverenblad. (dec.1987/jan.1988)  Er werden door Bart Peddemors 2 maquettes van de duiventoren gemaakt: een in ruïne staat en een in gerestaureerde staat.

Er kwam een fotoprijsvraag in de Leusdense couranten:”Wat stelt dit voor?”. Alle inzenders met de goede oplossing, en dat waren er toch best nog veel, mochten op de Culturade bij de stand van  de Historische Kring hun prijs, een gratis entreebewijs voor zwembad Octopus, ophalen.De stand van de Historische Kring  op de Culturade 1988 was geheel gewijd aan de restauratie van de Duiventoren. Er was een handtekeningactie gekoppeld aan een bijdrage voor het restauratiefonds.De opbrengst daarvan was fl. 213,--Later werd dit nog aangevuld met nagekomen giften tot f. 361,25. Dit alles leverde veel publiciteit en vooral goodwill op.

Er is even sprake geweest van een mogelijk verplaatsen van de Duiventoren, meer naar de rand van het Zwanewater, zo dat hij beter gezien zou worden. Doch dit vond de werkgroep historisch gezien niet verantwoord. De huidige plaats past in het ontwerp van een Engelse landschapstuin. Met andere woorden, de architect heeft hier bewust voor gekozen. Bovendien zou het geheel veel duurder uitvallen. Na onderzoek is er in 1985 een tekening gemaakt door de heren H.N. Karsemeyer en G.A. Overheem van de Rijksdienst voor de Monumentenzorg. Jan Jehee, eveneens werkzaam bij Monumentenzorg, onderzocht de details omtrent de vroegere bouwkunde, de materialen en kleuren. Naderhand maakte hij ook de tekening van de voorzijde en de  bestektekening.

Monumentenzorg maakte een begroting  van fl. 63.000,-.
Fondswerving. In mei 1988 werd het restauratiefonds gesticht. Alle organisaties uit het Fondswervingboek kregen een persoonlijk schrijven, met als resultaat:
K.F.Heyn Stichting fl. 5000,-- / Anjerfonds  fl. 5000,-- / Fentener van Vlissingenfonds  fl. 3000,--
De gemeente Leusden is in principe bereid fl. 30.000,-- beschikbaar te stellen.
Aannemer Hertzinger had een begroting gemaakt, die uitkwam op fl. 47.500,--. 
De werkgroep besloot, dat de restauratie incl. BTW maximaal fl. 50.000,-- zou mogen gaan kosten.

De gemeente Leusden stelde voor om het project in te sturen voor The Conservation Awards  van Ford Nederland. Groot was onze trots, toen wij vernamen, dat ons project Duiventoren, winnaar was geworden in de categorie restauratie 1988.                                                       

De prijs bestond uit een glazen kunst object met de functie van zonnewijzer en een geldprijs
van fl. 6.000,--. Daarmee was het financiële plaatje nagenoeg rond. We konden zelfs het onderhoud financieren voor 10 jaar. De prijsuitreiking vond plaats tijdens een groot diner in Park Plaza in Amsterdam.

Behalve de leden van de werkgroep en de voorzitter van de Historische Kring R.Polak waren ook wethouder Evelien Blom als vertegenwoordigster van de gemeente Leusden en de heer en mevrouw Van Hasselt, als vertegenwoordigers van Stichting “De Boom”, hierbij aanwezig. Ook nu weer kreeg de werkgroep en de Duiventoren veel media aandacht.

Half december 1988 kwam er een schrijven van  Stichting “De Boom”,waarin werd medegedeeld, dat het ministerie van WVC 80% van de restauratiekosten van de Duiventoren voor haar rekening zou nemen. Daarnaast werd door Stichting “De Boom” het onderhoud voor 10 jaar veilig gesteld.  De restauratie kon beginnen.

Er was nu een geheel andere situatie ontstaan. Stichting “De Boom” neemt de volledige verantwoordelijkheid voor de restauratie en het onderhoud op zich. Wel zal de restauratie worden uitgevoerd, volgens de plannen opgesteld  door de werkgroep en met de verkregen subsidies ervoor, 80% WVC en 20% fondsen..

De toegezegde gemeentelijke subsidie van  fl. 30.000,-- is overbodig geworden.

Op 13 maart 1989 neemt de restauratie van de Duiventoren een aanvang. Bouwbedrijf Hertzinger uit Leusden gaat aan de slag.

De balken constructie van boven af gezien.

De vloer zit er weer in met twee luiken.

Er is veel publiciteit rond de restauratie. 
De reacties van de Leusdense bevolking zijn zeer positief.