北宋庆历七年（1047），扩建前宰相王钦若府第而成，供秦王德芳子孙居住。先设专官管理，熙宁三年（1070），以其事归宗正寺。