1900年，人到中年的齐白石已经育有了两儿两女，日渐觉得自己所住的星塘老屋分外狭窄，总是想着能换个新房。

齐白石有一次为江西盐商作画，一张六尺中堂赚得了酬金三百二十两，便用这笔白银买下了离旧屋不远处莲花寨的几间大屋，然后在祠堂内精心挑选位置给自己建造了一间书房，在其中读书作画。因为不出祠堂就能看到馀霞岭上的梅花，齐白石当即为书斋取名 ‘借山吟馆’。这位优雅自得的乡间文人画师，在这段时间里心情大好，光诗便做了几百首之多。

齐白石在他的‘借山吟馆’之中

期间齐白石经人介绍拜在晚清著名经学家兼诗人、湘潭名士王闓运门下，因为齐白石曾为木匠，他与铁匠出身的张仲颺、铜匠出身的曾招吉并称为‘王门三匠’。

光绪三十年（1904） 七月初七，王闓运召集三名弟子登高小饮。席间他首唱‘地灵胜江汇，星聚及秋期’，然后令弟子们联句。‘木匠、铁匠、铜匠’仨人你看我，我看你，皆语塞无以应对，好在王凯运对自己门下‘三匠’的斤两都比较清楚，便就此作罢。但这件事却让齐白石大感羞愧，归里后即将书屋‘借山吟馆’的 ‘吟’ 字删去，改为‘借山馆’，并表示不敢再以诗人自诩。