Qua vermelding is het Sint Elisabethgasthuis het oudste gasthuis van de stad, gelegen achter het oude stadhuis van de stad, daar waar nu de Paleisstraat is. Op de afbeelding links is het half verscholen achter het stadhuis. Het torentje links is die van de gasthuiskapel. De eerste vermelding van het gasthuis is in 1361. Het werd waarschijnlijk gesticht door een gilde of broederschap en het was uitsluitend voor mannen bestemd.

Direct bij de stichting is ook sprake van een bayart, een nachtasiel te vergelijken met onze 'hulp voor onbehuisden'. Al in 1371 werden de lasten te zwaar en werd het bestuur overgedragen aan de rentmeesters van het HeiligeGeestgasthuis, die uit kerkelijke bronnen konden putten. Of dat instituut al bestond of voor deze gelegenheid werd gesticht is onbekend. Behalve HeiligeGeestgasthuis wordt het in de literatuur ook wel 'Oude Gasthuis' genoemd.

De ouderdom van dit gasthuis maakte dat ze als eenling van de goedgeefsheid van de poorters profiteerde waardoor de financiën steeds rooskleurig waren. In de loop van de 15e eeuw kan echt gesproken worden van een rijke instelling, waarbij de regenten succesvol opereerden met de vele kleine legaten die binnen kwamen.

Vanaf 1410 werden ook proveniers opgenomen en in 1450 werd de bayart ook ingericht voor vrouwen en kinderen; wat allemaal weer bijdroeg aan een gezond financieel klimaat. In 1492/3 werd het Elisabethgasthuis samengevoegd met het Sint Pieters in de Gansoord. Dat was omdat het stadhuis nodig uitbreiding behoefde en de gebouwen van het gasthuis die kon leveren. De gebouwen werden niet afgebroken maar aangepast en bleven staan tot ze voor de bouw van het nieuwe stadhuis moesten wijken.