1731
Oppført som «grunnmuret corps de garde med stokkhus». Til oppførelsen ble som arbeidsfolk i stor utstrekning benyttet soldater av «de gevorbne» (vervede) regimenter. (Widerberg 1934: 134)
1734
Etter at Statens straffeanstalter fra 1734 ble lagt til enkelte av landets festninger, ble et rom i hovedvakten innredet til fangelokale for inntil 27 festningsslaver.
1805
Det forelå allerede nå et forslag til utvidelse av bygningens slaveri-del, jfr. tegningen NRA GKK 52 (gjengitt på disse sidene).
1825 - 1829
Bygningen hadde inntil nå fungert dels som vaktstue, dels som slaveri. En sterk økning i fangetallet ledet til at bygningen nå helt ble slaveri. Den ble tilbygget 15 m mot nord og 3,5 m mot syd. (Øgar Svendsen 1988: 40) Det er tenkelig at de fleste av dagens vinduer skriver seg fra denne ombygningen.
1825 - 1826
Beskrives som en enetasjes gråsteinsbygning, inndelt i flre rom og forstue. På loftet innrettet et lite værelse og kasjott for soldater og slaver. I bygningen er fem jernkakkelovner og den omgis av et nytt stakittverk (Statens eiendommer 1825/26)
1829 - 1966
Bygningen tjente som verksted og lager i hele denne perioden. (Øgar Svendsen 1988: 40)
1831
Bygningen tilbygget tre latriner, oppført av gråstein. (Statens eiendommer 1842/43)
1842 - 1843
Beskrives som en enetasjes gråsteinsbygning med forstue og flre fangerom. På loftet er i den ene ende innrettet sykestue og i den andre kasjott for fangene. Foran bygningens nordre ende og søndre side er montert stakitt. (Statens eiendommer 1842/43)
1862
Beskrives nå inndelt i flre rom med forstue og to priveter. I bygningen er to jernkakkelovner. På loftet ett rom og tre kasjotter. Et privet benyttes av vakten, et rom for kronarbeidere og rommet i loftsetasjen brukes til depot for festningens «inventarium». (Statens eiendommer 1862)
1880
Bygningen hadde nå bare én jernkakkelovn. På loftet et avdelt rom. Bygningen benyttes som materialhus og verksted for ingeniørdetasjementet foruten rommet for kronarbeidere. (Statens eiendommer 1884)
1896
Et av bygningens flre rom nå avdelt med murvegger til tre rom, hvorav to er innrettet som håndverkslokale for Smaalenenes Linjebataljon. På loftet er kronarbeiderrommet innrettet til festningsdepot med nødvendige hyller. Loftet brukes ellers til materialbod og verksted for ingeniørdetasjementet. (Statens eiendommer 1898)
1900 - 1902
Festningsdepotet utflyttet av kronarbeiderrommet, som nå ble benyttet av ingeniørvesenet. En liten latrine på husets bakside ble bygget om: Den var nå 4 m lang; 2,5 m bred; 2,5 og 3 m høy med halvtak oppført av stenderverk på laftestein, bordkledt og oljemalt, inndelt i 4 rom med renovasjonsgang og et mindre pissoir. (Statens eiendommer 1903-04)
1915 - 1917
Elektrisk lys innlagt i alle rom. (Statens eiendommer 1916)
1918 - 1920
To luker for inntagning av tømmer til motorsag satt i veggen. Åtte skap for arbeidsredskaper innredet. (Statens eiendommer 1922)
1936
Del av huset innredet som «Tordenskjold-museum».
1965
Taket omlagt. Murt utspring på søndre gavlspiss. (HER)
1967 - 2003
Visse tilpasninger til bruk som museum. Fredrikstad museum disponerte bygningen frem til 2003.
2004
Vestre rom avdelt med lettvegg, slik at det kan benyttes av ulike brukere med inngang fra hhv øst og vest.
2006
Tregulv i soldatenes gamle vaktrom råtnet i stykker, og fjernet. Omfattende tilpasningsarbeider for tilrettelegging for kulturaktiviteter og kafé.
