桜橘庵のたたずむこの場所は、平安時代には御所の一部でした。当時の御所は天皇の御座である中央の紫寝殿をはさんで東に東土御門、西に西土御門があり、それぞれに公家が住んでいました。紫寝殿は火災によってたびたび焼失したため、その度に天皇は公家の屋敷に避難し、それは里内裏と呼ばれていました。東土御門は里内裏として天皇が移ったとき、そのままそこが紫寝殿となり、以後御所は全体に東に移動しました。西土御門は御所から外れましたが、いまでもその名残として、桜橘庵の住所は元土御門町となっています。

幕末になると、儒学者・皆川淇園がこの土地に日本で最初の大学と言われる、弘道館を建てました。当時3000人の弟子を抱え、学問のメッカとして活気にあふれていたことが想像できます。門下にはのちに松下村塾を開いた吉田松陰もおり、その弟子・桂小五郎と続き、桜橘庵はまさに明治維新の夜明け前のゆりかごであったことが見て取れます。

皆川淇園の没後、1835年に現在の建物が建て始められました。その後代々の当主により増改築が繰り返され、ほぼ現在の姿になったのは昭和16年のことです。
表千家の啐啄斎写しの茶室、網代天井を擁した６畳の茶室、香道に理想的な10畳の広間、細部に渡り厳選された部材や細工などが、往時の旦那衆が数寄の限りを尽くして粋な遊びに酔いしれた時代を今に伝えます。