纪晓岚出生在一个世代书香之家,父亲纪容舒是一位着名的考据学家,做过京官,外放姚安知府。纪晓岚4岁开始读书,12岁随父入京。24岁应顺天府乡试,为解元。因服母丧,闭门在家,专攻考据之学,颇有造诣。31岁中进士,入翰林院为庶吉士,继授编修。乾隆三十三年,授贵州都匀知府。但皇帝认为纪昀学问优胜,到外省做官不能尽其所长,将其留在身边。
虽然这所老宅以纪晓岚故居命名,最初的主人却并非纪氏,而是雍正年间的权臣、岳飞第二十一代孙岳钟琪。但让老宅告别默默无闻的却是一代名臣纪晓岚。他的一部《阅微草堂笔记》被鲁迅赞为“雍容淡雅,天趣盎然”,并因此奠定了这所老宅今天的名望和地位。纪晓岚在此宅中前后共居住过60余年,直到1805年去世。
院子很小,总面积不足200平方米,四角缀有草坪,院的正西方有个绿面红沿的大鱼缸,东北角则是纪晓岚亲植的海棠树,原先是两株,上世纪60年代砍去一株。如今,剩下的这株也被截去一半,孤坐在袖珍的小院中默默纪念着纪晓岚少年时与婢女文鸾相恋终又不能成为眷属的凄美故事。