戴熙，《四梅阁图卷》，苏州文物商店藏

太平军占领苏州期间，潘遵祁先与家人暂居光福别业，继而辗转赴上海避难。此前，从外祖父陆恭松下清斋散出的扬补之《四梅图》卷，又从同郡程桢义家流出，潘遵祁睹物思人，乃以巨值购归，在光福的香雪草堂旁构一小屋，名曰四梅阁，专门用来储藏《四梅图》卷。咸丰五年（1855）二月，潘遵祁又请戴熙（1801—1860）作《四梅阁图》，兼记其事。

咸丰十一年（1861），大江以南烽烟四起，比潘遵祁小三岁的顾文彬（1811—1889）在武汉任职，本欲回苏，遇阻滞留于湖北，妻子与两子顾廷薰、顾廷熙先后殁于故乡，消息传来，令他伤心不已，此时身边仅有一子顾承随侍，不得已暂时赁居于杨守敬家，后终于设法抵达上海，与潘遵祁一道迎来苏城克复的消息。毫不夸张地说，未来名震江南的过云楼，此时或已入顾文彬梦寐中，但顾氏的收藏活动尚处在起步阶段，自不能与潘氏同日而语。就在这一年，二十六岁的吴大澂也避难到了上海，入潘、顾二氏友人吴云幕府，经眼了数百件从苏州流散到上海的旧家收藏，其中包括他外祖父韩崇的旧物。据吴大澂《辛酉日记》三月十八日记载：

是日，见立轴八幅：赵文敏墨竹，王叔明《稚川移居图》，石田山水，陈沱江（白阳之子）花鸟，有白阳山人长题，文休承山水，倪文正公字，赵文度山水，王石谷《寻梅图》，无不精妙，阅之心目俱快。此吾苏潘顺之太史所藏，非寻常赏鉴家可比。

在未来的收藏家吴大澂心目中，此时年长他二十七岁的潘遵祁业已是非比寻常的鉴藏家，日记的最后一句话，无疑是他发自内心的赞叹。殊不知，潘遵祁对这位后生也青睐有加，回到苏城的第二年（1865），为纪念三松堂补植松树一事，潘太史特意请头角峥嵘的吴大澂作《老屋补松图》一帧，见于吴大澂《乙丑日记》稿中。十多年后，吴大澂更将三小姐许配给潘遵祁的幼子潘睦先，新、老两位收藏家自此成了亲家。