王世襄离开了故宫博物院，甚至远离了主流意义上的文博界，他不再有机会接近那些他钟爱的文物，但他却割舍不了自儿时开始的爱好。

王世襄出身豪门，他的祖父是前清官员，官至工部尚书，是收录于《清史稿》的人物；他的伯祖是光绪三年的状元，徐世昌和梁启超都是其门生。

他的父亲王继增曾留学巴黎政法大学，后在前清和民国政府里从事外交工作，担任过北洋政府的国务院秘书长；他的母亲金章1902年留学英国，学习西洋美术，后成为着名的花鸟画家。

他的大舅金城是20世纪初北方画坛的领袖，四舅金西厓虽然大学学的是建筑，但最终却成为一代竹刻大师，“海上画派”的吴昌硕、吴湖帆等名家对他赞许有加。

可以说，王世襄的家族为他在儒学礼教方面提供了精神出处，而母亲家族中则为他提供了巨大的艺术基因。

儿时的王世襄调皮好动，喜欢的是养鸽子斗蟋蟀，为了锻炼身体，也拜前清宫廷里的“扑户”学摔跤。而这些人又喜欢养鹰捉兔挈狗捉獾，于是他又爱上了调教鹰狗的游艺。

他的父亲曾是外交使节，很早就知晓了外语的重要，因此王世襄被送到美国人在北京办的美侨学校读书，学成了一口流利的英语。