1941年12月香港守軍在香港保衛戰被日軍擊敗，身為官邸主人的總督楊慕琦於12月25日被俘，進入長達三年零八個月的香港日佔時期。日本政府委派磯谷廉介出任香港佔領地總督，到港後沒有入住其內，而只是下令進行改建。

第二次世界大戰後，因為日本人在佔領香港期間曾經對總督府進行修葺，也沒有在戰時嚴重受損，所以總督府在香港重光後繼續作為總督之官邸。

禮賓府的建築風格融合了西方和東方元素，反映了香港在港英時期的歷史。這樣的設計讓我思考香港的歷史背景，如何在殖民地時期形成了今天的社會結構。