1933年，丰子恺用攒下的6000元稿费，在桐乡县石门湾自家祖宅后面的平地上，亲自设计了缘缘堂。房屋为三开间两层楼建筑，坐北朝南，砖木结构，“全体正直，高大，轩敞，明爽，具有深沉朴素之美”。

缘缘堂的得名，缘于弘一法师。1927年秋，弘一法师到丰子恺家里小住。丰子恺请恩师为他的上海寓所取个名字，弘一法师想到一个有趣的办法：让丰子恺在小方纸上写几个自己喜欢的字，然后团成小纸球，撒在佛像前的供桌上。结果，丰子恺抓了两次阄，拆开一看都是“缘”字，于是就将寓所命名为“缘缘堂”。不过，按丰子恺自己的说法，上海江湾的缘缘堂，只是一个象征性的名称；而石门湾缘缘堂的建成，方才具有真正的“形”。

桐乡的缘缘堂雅洁幽静，是“灵与肉完全调和的一件艺术品”，丰子恺亲笔题写了“欣及旧栖”四字，雕嵌于大门的门楣。他夸耀说：“这样光明正大的环境，适合我的胸怀。倘秦始皇要拿阿房宫来同我交换，石季伦愿把金谷园来和我对调，我也决不同意。”此后5年，丰子恺长住缘缘堂，完成近20部作品，这是他创作生涯的黄金时期。

丰子恺对“缘缘堂”情有独钟，视为精神家园，他数度撰文述及，更将自己的文章连续以“缘缘堂”的名义结集出版，如《缘缘堂随笔》《缘缘堂再笔》《缘缘堂新笔》《缘缘堂续笔》等。

1937年11月，侵华日军突袭石门湾，丰子恺率亲族老幼十余人逃难。流亡途中，丰子恺得知缘缘堂被日军炮弹炸毁的消息后，整个人都愣了。他在极度悲愤中，写下《还我缘缘堂》《告缘缘堂在天之灵》《辞缘缘堂》等文章，怒斥日本侵略者的残暴行径。

1984年，缘缘堂在原址上重建。复建后的缘缘堂由庭院、楼房和后院组成，结构、布置乃至栽培的花木悉依原貌，保持了原来高大、轩敞、明爽的风格和特色。（王剑）