1764
Under den store bybrannen brant både den gamle kommandantgård og bakeriet. Man slo tomten sammen med kvartalet hvor det eldste torvet og rådhuset hadde vært, og planla et større militærkompleks på det samlede område. Komplekset skulle bestå av mange bygninger, men arsenalbygningen – Tøyhuset – var den eneste foruten 0006 Bakeriet som noensinne ble oppført. Derfor flkk også tøyhuset sin særlige L-plan. Om alt var gått som planlagt, ville bygningens avstumpede fløy vært supplert av et provianthus syd for Kirkegaten, som er forlenget tvers gjennom Tøyhuset. På den måten skulle man få et slags gårdsrom inne mellom husene. Som gårdsrommets fierde vegg var det tenkt oppført en ny kommandantbolig. Sentrum i anlegget ville bli det gamle lysthuset i kommandantens hage, den eneste bygningen som hadde trosset ildens angrep. (Hals 1937: 272)
1768
Kommandant H.J. Scheel foreslo innkjøp av hele kvarteret sønnenfor kirken. Han mente militæretaten måtte sikre seg dette før byen kom den i forkjøpet. Forslaget fikk tilslutning, men ikke så raskt at man unngikk å måtte betale flytteomkostninger for den allerede påbegynte skolebygning. Det gikk atskillig tid før planen for bygget endelig ble vedtatt. (Widerberg 1934: 202)
1773 - 1775
Bygningen oppført i panelt bindingsverk, i én etasje med et stort mansardtak. Av økonomiske årsaker ble den ikke oppført av mur som forutsatt. Den fikk murt sokkel og murte hjørner og portinnfatninger, men for øvrig var veggene av bordkledd bindingsverk. Bygningens hesteskoform omsluttet hele det innkjøpte kvartalet der kommandantboligen tidligere hadde ligget, så den stengte for Kirkegaten. Til denne gaten flkk bygningen sin hovedport, som ble prydet av en marmorportal. Den første tegning til denne ble laget av H.C. Gedde. Men portalen ble senere bygget etter en omarbeidet tegning oppsendt fra København. Stenhuggerarbeidet ble utført av Thos. Bagge på Gjellebekk i Lier. (Widerberg 1934: 202)
1776
Da bygningen ikke var oppført i mur søkte man å redusere brannfaren ved å innkjøpe og rive et par borgerhus som lå for nær. (Widerberg 1934: 202)
1784
Brannen i 1784 foranlediget fra Geddes side forskjellige forslag til regulering av forholdene i feltartillerihusets naboskap. Noen av disse forslagene ble også gjennomført. (Widerberg 1934: 202)
1803 - 1809
For å minimalisere brannrisikoen ble det i 1803 besluttet å forblende tøyhuset med murvegger og murt gesims. Arbeidet ble utført i løpet av 6 år. (Widerberg 1934: 204)
1825 - 1826
Ifølge en samtidig inventarbeskrivelse var bygningen avdelt med tre brannmurer og hadde lynavleder. I det innhegnede gårdsrommet fantes to sisterner. (Statens eiendommer 1825/26)
1880
Bygningen beskrives på dette tidspunkt å være brukt av Arsenalet, vel som depot. (Statens eiendommer 1884)
1896
Tøyhuset var nå innrettet til depoter (for 2. Feltartillerikorps, Smaalenenes Landværnsbataljon, Fredrikstad Arsenal og Artilleridetachementet). Depotene var innrettet med bord, hyller, rekker og stillaser; flere rom var avdelt og nye trapper satt opp. (Statens eiendommer 1898)
1897 - 1899
Samtlige opphengskroker, etagerer m.v i 1. og 2. etg. av søndre og østre fløy (som nå var i bruk som underbringelse for Smaalenenes linjebataljon) ble tatt ned; 25 vinduslemmer fiernet og 50 store jernvinduer innsatt, seks døråpninger gjenmurt og tre nye utvendige dører innsatt; en delevegg flyttet. To rom for underbefal avdelt på søndre loft. I nordre fløy innredet depot for 2. landstormskompani. Hoveddelen av bygningens tak tekket med spon under lektningen. En latrine med pissoir flyttet fra Kjørbogaarden og oppsatt på gårdsplassen. Kloakk og vannledning innlagt. To brønner gjenfylt. (Statens eiendommer 1900–1901)
1900 - 1902
Opphengsinnretninger for utrustningsgjenstander satt opp i 1. korps' landverndepot. I annen etasje ble det med bordvegger avdelt to rom for underoffiserer. En del forandringer av innvendige vegger, oppsetting av trapper, gjenmuring av åpninger i brannveggene, anbringelse av geværholdere. 11 nye store vinduer og to utvendige dobbelte dører med overlys innsatt. Gjerdet på gårdsplassen flyttet. (Statens eiendommer 1903-04)
1912 - 1914
En del mellomvegger m.v oppført i innkvarteringsrommene og depotene. (Statens eiendommer 1916)
1915 - 1917
En delevegg forhøyet med netting. Geværstandrekker og tørrerekker oppsatt. Vaskeplassen i gården brolagt. I nordre og østre fløy innredet fire landvernsdepoter med hyller og geværstendere. En innvendig trapp flyttet. En elektrisk lampe oppsatt på gårdsplassen. Ny utgangsdør med utvendig steintrapp. Åtte offisersavlukker fordelt på rommene 2, 12, 14 og 16 nedrevet og et lignende antall avlukker innredet i rom nr 4. (Statens eiendommer 1916)
1918 - 1920
Bøssemakerverksted innredet. I vestre del av rom nr 13 innredet magasin for Smaalenenes reservebataljon. I første etasje avdelt fire kompanirom, et større rom innredet til oppbevaring av leirmateriell. I annen etasje innredet bataljonsrom, likeså i tredje etasje.
1931
Latrine som stod på gårdsplassen nedrevet. (Statens eiendommer 1930)
1933
Et plankegjerde mellom Tøyhuset og Bakeriet ble revet og erstattet med et gjerde av mur på betongfundament med port. Porten er en gammel dør som ble funnet i Provianthuset. På døren fantes rester av et påklebet papiroppslag hvorpå årstallet 1840 og en del tall. En lykt oppsatt i Kirkegatens gjennomgang gjennom Tøyhuset. (Arbeider 1931+)
1950 - 1960
Kjøkken og spisesaler for mannskaper innredet i sørfløyen. I
1990
Befalsmesse innredet sør i østfløy
1993
Kontorer og verksted/lager for våpenteknisk depot innredet i nordfløyen.
2002
Hele taket lagt om. Skiftet mye undertak og papp, lekter og sløyfer. Gammel tegltaksten supplert og lagt opp igjen. Nye beslag. Produksjonskjøkken demontert og fjernet.
2003
Utstillingslokaler for Fredrikstad museum innredet i nordfløy Kjøkken demontert.
2004
Lokaler for Østfold Teater innredet i østre fløy
2005
Turistkontor etablert i nordre fløy i tilknytning til museet.
samme periode ble det innredet diverse kontorer i nordfløyen.
