Tvílyfta húsið með kvistinum er verslunar- og íbúðarhús sem kaupmenn frá Flensborg byggðu árið 1816, eftir að eldra kaupmannshús sem stóð á lóðinni brann. Þarna hófst skólahald barna árið 1877 og seinna var gagnfræðaskóli í húsinu sem var jafnan nefndur Flensborgarskóli. Hvíta húsið var vöruskemma og seinna hluti af skólanum. Húsið hægra megin við Flensborgarhúsið var byggt 1906 þegar fjölga þurfti skólastofum.