政治家として手腕を発揮したことで知られる井伊直弼公は、１７歳から３２歳まで過ごした埋木舎では、禅や和歌、国学、武道、陶芸、茶の湯などの精進に励んだ。そのうち、埋木舎には現存しない武道鍛錬場や楽焼の窯があったとされる。
武道のうち、直弼公は幼少のころから藩士を相手に兵学、剣道、槍術、弓術、馬術、居合などに修練し、すべてにおいて達人の域にまで達していたという。 武道の中で特に力を入れたのが居合で、後に居合の極意を得て「新心新流」という一派を創設。居合の極意を著書「七五三柔居相秘書」にもまとめている。
一方で、直弼公は天保13年（１８４３）ごろから、埋木舎の奥の庭で楽焼造りを始めた。香合やふた置き、茶入などを制作し、現存している物も多くある。「楽焼覚書」には直弼公自作の84点の作品名と56点の譲り先が記されているという。
武道鍛錬場や楽焼の窯があったとされる場所は、現存する埋木舎の建物の北側にある空き地。現在は竹林になっている。埋木舎からは奥の裏木戸から入ることができるが、一般公開はされていない。（参考文献「埋木舎と井伊直弼」）