图4 吴大澂

依辈分而论，潘祖荫为吴大澂的父执辈，但两人实际年龄仅相差五岁。不过，潘祖荫出仕为官，却要比吴大澂早十数年。潘祖荫咸丰二年（1852）中进士时，年仅二十三岁。吴大澂三十四岁始成进士，时在同治七年（1868），时年三十九岁的潘祖荫已官居吏部侍郎，并曾派任会试覆试阅卷大臣、殿试读卷官等事。《吴愙斋先生年谱》所载，最早涉及潘祖荫者在同治六年（1867）十二月初一日，但两人相交当早于此年。吴氏于同治元年（1862），与吴大衡、汪鸣銮等赴京应试，惜未中式，场后留京，馆于同乡彭蕴章家，居城西小麻线胡同，此时当已以年家子身份拜见潘祖荫，不过，两人当时似乎并未深交。

对于吴大澂、潘祖荫二人交往始末的考察，兹主要依据两家往来书札。潘、吴两人自同治元年（1862）相识，至光绪十六年（1890）潘祖荫病逝，近三十年间，往返尺牍无虑数百千通。吴湖帆在《<潘文勤手札>跋》中称：

潘文勤公书学米元章，故纵横不束。生平手札都大笺狂书，精小者罕见焉。吾家存公手札凡六百余通，而精小者祗此六七纸耳。末幅为重刻《古泉丛话》跋之草稿，属先愙斋公书者。今潘刻原本已极名贵，而此稿依然长留天地间，亦公灵呵护，保此墨迹也。辛酉三月，吴翼燕漫识。