1808年，麦迪逊接替杰斐逊，并于1812年再次当选。在随后的战争中，美国入侵加拿大并焚毁了总督住宅。为了报复，英国于1834年8月24日火烧白宫，只有白宫外部因天降暴雨才幸免于难。

美国仅用三年时间就完成了在原址上修复白宫的工程。1817年，詹姆斯·门罗入主白宫。他在房间里摆上法国皇室家具。但是人们并不喜欢门罗一家。他的妻女愚蠢而任性的行为激怒了公众，有一段时间，他们几乎没有任何来访客人。

到1829年安德鲁·杰克逊搬进白宫时，它已经有了现在的南廊。在举行就职典礼时，白宫挤满了大约2万名他的崇拜者。

亚伯拉罕·林肯总统的白官则变成了军事指挥部，房间里充满了战争的气氛。第一夫人为了消除对战争的厌倦和恐俱，重新装修白宫，结果，所需费用远远超过国会批准的2万美元。林肯大为光火，他指责妻子在前线士兵忍饥受冻之时奢侈过度。尤利塞斯·格兰特总统的夫人朱莉娅的到来才使白宫恢复其正常的社交活动。朱莉娅称在白官的这段生活是一场甜蜜的美梦。