Rantakadun ja Cortenkadun kulmassa sijaitsevan talon Rantakadun puoleinen osa valmistui vuonna 1804. Sen rakennutti siltavouti Johan Levonius. Häneltä talon osti pormestari Westman.
Talo vaihtoi jälleen omistajaa, kun Ruotsista Raaheen muuttanut kapteeni Johan Leufstadius (1795-1867) asettui taloksi Rantakadun ja Cortenkadun kulmaukseen. Cortenkadun puoleinen siipi valmistui 1841 ja pakaritupa 1830. Cortenkadun puoleisessa rakennuksessa toimi tupakkatehdas 1800-luvun puolivälissä.
Leufstadiuksen perheeseen syntyi neljä lasta: Maria, Hans Johan, Anna Helena ja Lars Fredrik. Vain vanhin tytär Maria avioitui. Lars ahersi Fellmanilla kirjanpitäjänä koko ikänsä. Häntä kutsuttiin Fellman-Leufstadiukseksi, sillä hän asuikin Fellmanilla.
Johan Leufstadius nuorempi syntyi vuonna 1829. Hän suoritti perämies- ja kapteenin tutkinnot vuonna 1851. Kunnon kapteeni hän olikin, vaikka miehet häntä leikillisesti kutsuivat "Finkka-Jussiksi", koska hän ruokki laivaväkeään leipäkeitolla, "finkalla".
Johan asui vanhempiensa kodissa naimattomana yhdessä Anna-sisarensa kanssa kuolemaansa saakka. Merimiesuran jätettyään hän osallistui liike-elämään ja kaupungin kunnalliseen toimintaan.
Museon toiminnan alkuaikoina Leufstadius lahjoitti museolle useita esineitä, muun muassa kuuluisan sukelluspuvun, jota kutsutaan Wanhaksi Herraksi.
Sisarukset testamenttasivat talon irtaimistoineen säätyläisnaisille vanhainkodiksi. Se aloitti toimintansa syksyllä 1909 ja toimi talossa monta vuosikymmentä.
