1677
Under Gyldenløvefeiden ble det etter Gyldenløves ordre bygget et blokkhus med batteri og palisader på Stavernsøya (Citadelløya). I hvert fall året etter var det besetning i skansen, som imidlertid neppe ble vedlikeholdt etter fredsslutningen. (Schiøtz 1919: 2)
1686 - 1689
Gyldenløves blokkhus ble nå videreført i form av et befestet fort, som skulle tjene som støttepunkt for Kattegateskadren. Arbeidet tok til i 1686 eller 1687, og fortsatte i 1688 og 1689. Den første kommandant kom til fortet 3. november 1689. Fortet var en liten donjonfestning med retransjement, og husvære for kommandant, offis erer og mannskaper. Donjonen beskrives slik i inventarfortegnelsen for 1695: «Paa Forted Stavern er et af Grof mur byged Taarn, som er tree Loft høyt, hvor af de 2de underste er med Holler til at læge Støcker [kanoner] udj, oc det øfverste et loft, som icke bruges; under samme Taarn er en Kælder med Jern Dør og Taschelaas for, hvor udj Kruded bevares; for Indgangen til Taarnet er oc en Jern Dør med en Naglefast Taschelaas.» (Schiøtz 1919: 1ff)
1693
Artilleristene ankom Stavern fort. To år senere fantes det 13 jernkanoner av ulikt kaliber på fortet. I de påfølgende år, frem til 1713, økte bestykningen gradvis og fortet fikk det antall kanoner som det hadde inntil det i 1751 ble en del av Fredriksverns befestninger. De største kanonene var alltid oppstilt i tårnet, de mindre i åpne batterier bygget av stein og dekket av jord og torv. Batteriene var «Gyldenløve » og «Kongen» (1702), «Prinsen» og «Trippenhald» (1714). (Schiøtz 1919: 3f)
1711 - 1716
Under den store nordiske krig (1709–20) var en større eskadre forlagt til Norge med Stavern fort som operasjonsbasis. Tårnets oppgave var her å beskytte opplagshavnen.
1730
Donjonens kruttkjeller var fuktig, slik at kruttet ble ødelagt i løpet av relativt kort tid. Kjellerveggene ble i 1720-årene kledd innvendig med tre, uten at det hjalp stort. I 1730 ble det bevilget penger til en ny kruttkjeller inne i tårnet. Denne ble bygget av gråsten og kalk, dekket av enmurt hvelving og forsyntmed tregulv og hyller til å legge kruttønnene på. Etter denne tid ble det imidlertid ikke bevilget stort til vedlikehold, fordi den oppfatning hadde slått rot at festningen burde ligget på Risøya. (Første gang fremsatt i en rapport fra kommanderende general og generalkvartermesteren 1722.) Dermed forfalt hele fortet sterkt i årene som fulgte. (Schiøtz 1919: 4f)
1751
Stavern fort ble overlevert fra hæren til sjøetaten 28. desember. Som fort betraktet var det av liten verdi, og det skulle kreve store summer før det igjen kunne fylle sin oppgave. Men syv år senere var det etablert som et helt nytt fort, og inngikk i Fredriksverns forsvarsverker. (Schiøtz 1919: 21) Etter dette mistet fortet sin selvstendige operative stilling, men ble en svært viktig del av Fredriksverns totalforsvar.
1840
«Krudttaarnets» øverste del tjente nå som kruttkjeller mens den nederste var innrettet som tøyhus.
1864
Citadellet nedlagt som forsvarsverk. Etter dette forfalt såvel bygninger som fortifikasjoner sterkt.
1870
Takets kobbertekking ble fjernet og solgt til fordel for den nye marinebasen i Horten. (Statsbyggs eiendomsdatabase) Undertaket ble antagelig liggende inntil det råtnet opp, men etter dette var tårnet helt eksponert for naturkreftene.
1978 - 1979
Tårnet gjenoppbygget etter et omfattende restaurerings- og rekonstruksjonsarbeid. Alle synlige fuger ble spekket med hvit kalkmørtel. Treoverbygningen ble utført med basis i parallellføringer til tilsvarende konstruksjoner i Danmark. Originaltegningene til Citadellets tårn ble først lokalisert i Riksarkivet etter at konstruksjonen var ferdigbygget. Den utvendige formen stemmer, mens den innvendige konstruksjonen ikke er korrekt. (Tore Bjørlo i Statsbygg, meddelelse til forfatteren)
1991
Taket igjen kobbertekket. (Rognerød 1997: 10). Samme år ble kruttkammeret satt istand. Utrasninger fra hvelvet ble utbedret delvis med stein som ble tilbake, delvis med betong. Vegger og hvelv ble kalkpusset og malt. Brønnen ble murt opp igjen av stein fra stedet, med nytt brønnlokk i eik. Gulvet ble lagt av nye smale røde og gule teglstein. Døren til kruttkammeret nylaget i eik. (Befaringsrapport i RAks arkiv) Det hvelvede kanongalleriet ble innredet som et lite museum, med gjenstander funnet på havbunnen rundt øya: Deler av skip, kanonkuler, glass, servise, mynter, piper etc. Tårnloftet ble forsamlingssal og innredet med benker og bord.
1996
Etablering av rømningsvei på yttervegg. Innkopling av eksisterende brannvarslingsanlegg. (Meddelelse fra Statsbygg)
