1764
Ved den store bybrannen d.å. brant også festningens bakeri ned. Det ble imidlertid gjenoppført samme sted. Det står inntegnet på en reguleringsplan for det nye tøyhus fra 1775, så vi kan gå ut fra at det er omtrent jevngammelt med tøyhuset. (Øgar Svendsen 1988: 60)
1824
For å skaffe mer plass til slaveriet, ble hovedvakten flyttet over til bakeribygningens søndre halvdel, som inntil da var brukt til bryggerhus.
1825 - 1826
Bygningen beskrives å ha to rom, det ene bakeri med flre bakerovner, det annet – som inntil 1824 var i bruk som bryggerhus – innrettet til vaktstue. På loftet et kvistværelse i bruk som offiser-vaktstue; i samme en jernkakkelovn. Til bygningen hørte tre bryggerkjeler av kobber. Tett ved bakeriet fantes en bygning som ble brukt til vedskjul for samme, oppført av bindingsverk med bordkledning. (Statens eiendommer 1825/26)
1837
«I Aaret 1837 flk denne Bygning en 9 Alen lang Tilbygning, hvori ved en Gang adskildte Arrester. Paa Loftet herover er indrettet Underofficiers Arrest og Cachot.» (Statens eiendommer 1842/43) Partiet som inkluderer høyre hovedinngangsdør og pipe nr. 2 fra høyre er tilbygget.
1862
På loftet over bygningen var det nå innrettet flre arrester med jernkakkelovner. (Statens eiendommer 1862)
1896
I bakeridelens nordre ende var nå to bakerovner fjernet og to verksteder innrettet for Smaalenenes Landvernsbataljon. Det andre rommet, som ved mur- og panelvegger var avdelt i flre mindre rom, ble brukt til vakt og arrester. Mannskapsrommet avdelt med en hel murvegg. En peis som stod utenfor entreen var fjernet og peisens nedre del overmurt. Avlukket som derved var fremkommet ble brukt av festningens lyktetenner. På loftet over bygningen var ytterligere flre arrester. (Statens eiendommer 1898)
1912 - 1914
Bakeriet forsynt med vask og betonggulv (Statens eiendommer 1916)
1915 - 1917
Elektrisk lys innlagt. (Statens eiendommer 1916)
1934
Vaktlokalet ominnredet til flre arrester med innsetting av nye vinduer mot syd. En vindusåpning var gjenmurt og måtte først åpnes, mens et lite vindu høyt på veggen ble gjenmurt. (Arbeider 1931+) Samme år ble et vognskur og et vedskur med bilgarasje i bygningens forlengelse mot syd revet som skjemmende. (Statens eiendommer 1937)
1972
Søndre del innredet til kontorer. (HER)
1976
Nordre del innredet til kontorer. (HER)
1992
Nytt balansert ventilasjonsanlegg. (HER)
1995
Innredet tempest-sikret rom i 1. etasje. (HER
2006 - 2010
1. etasje opprustet til bruk for kunsthåndverkere.
