据曹友卿所说，这幅残卷是从一个画册中拆页所得。这本画册，即为王廷宾所辑《三朝宝绘册》，当时流落到江阴一户姓陈的人家。这家人却不识“金镶玉”，将画册拆页零售。
吴湖帆和曹友卿找到这家人，居然从其家中找到了被当作废纸的王廷宾题跋，文中详述了《剩山图》的由来和流转过程。
这篇文章虽然很有史料价值，不过单凭王廷宾为自己藏画所作的题跋，亦不能断定这幅《剩山图》就是当年“火殉”幸存的那尺许残卷。
最终让吴湖帆确认手中残卷就是《剩山图》无疑的，是《富春山居图》的另外一部分——藏于故宫的《无用师卷》。
书法家沈尹默，在其为《剩山图》题眉时注曰：“其后幅（《富春山居图》后半段《无用师卷》）久归清内府，晨岁余与湖帆共预故宫博物馆审查书画之役得寓目焉”。
《剩山图》摆到了吴湖帆面前时，他之所以能一眼将其认出，与他亲眼观赏过同属一卷的《无用师卷》真迹应该大有关系。
此后确认《剩山图》，吴湖帆又找到了这两幅残卷的“血脉联系”。
在吴湖帆装裱的《富春一角》卷上，有一张《富春山居图》前后段画卷连接照片的影印。这幅照片，就是吴湖帆为鉴定《剩山图》所摄。在分别了两百多年后，《剩山图》和《无用师卷》以这种特殊的方式短暂重逢。
尽管被人为割裂，但《富春山居图》的神韵没有断开，本是一幅画作的《剩山图》和《无用师卷》，如一奶同胞，自有血脉互通。
《富春山居图》是用六张宣纸连接而作的长卷，每个连接处都有骑缝印章。《剩山图》和《无用师卷》连接处的上端，就盖着一枚吴之矩的白文方印。这枚印章加盖时，《富春山居图》尚是一幅完整长卷。
虽然《剩山图》经过不同藏家装裱，经过截边，比《无用师卷》窄了1.8厘米，但两段画卷合在一起时，这枚印章仍严丝合缝。
那场“火殉”之灾，在《富春山居图》前后两段留下了共同的伤疤。吴湖帆在照片上勾勒出五处火痕。从《无用师卷》向右至《剩山图》，五处火痕几乎等距分布，而且越往右火痕越大。可以想见，当年《富春山居图》卷轴在火中被灼烧的惨景。
中间的一处火痕，恰好就在骑缝章之下，两段画作各半。吴湖帆在旁加注：“下方石坡、小树、沙脚，除火痕空处各经补笔外，余皆一气连属。”
自此，《剩山图》归入吴湖帆的“梅景书屋”，他也有了一个新的自称：“大痴富春山图一角人家”。
假作真时真亦假
实际上，吴湖帆能够通过《无用师卷》影印本的比对确认《剩山图》，多少也有一些幸运的成分。因为那时候，《无用师卷》被确认为《富春山居图》真迹也不过四五年光景。此前，它作为乾隆皇帝“御批钦定”的“假画”在故宫存放了近200年。
清乾隆十年（1745年），一幅《富春山居图》被征入宫。乾隆皇帝见到后爱不释手，不时取出来欣赏，并且在6米长卷的留白处加盖玉玺，赋诗题词。没想到，第二年，另外一幅《富春山居图》又被进贡到了御案上！
这一幅才是黄公望真迹，即《富春山居图》后大半段《无用师卷》。自遭遇“火殉”之灾被分为两段后，《无用师卷》先后经历了张范我、季寓庸、王鸿绪等几位收藏家，乾隆年间辗转入宫。
而此前，乾隆已经得到的那一卷《富春山居图》，实际是明末文人临摹的《无用师卷》。后人为牟利，将原作者题款去掉，伪造了黄公望的题款。因为伪作题款中说是为“子明隐君”所画，所以这幅画又被后人称之为《子明卷》。
事实上，《子明卷》的仿制漏洞并不难发现。元代书画上作者题款都是在绘画内容之后，而《子明卷》却将作者题款放在了画面上方的空白处，这显然不符合元代书画的特点。但乾隆皇帝还是在这个并不高明的伪作上“打眼”了。
有皇帝深信《子明卷》在前，《子明卷》和《无用师卷》究竟孰真孰假？这恐怕就不只是画作的真假问题了。最终，在翰林院掌院学士梁诗正、礼部侍郎沈德潜等几位大臣的附和下，乾隆认定《子明卷》为真迹。不过，他同时做了一个耐人寻味的决定：花了“二千金”把《无用师卷》留在了宫中，列入“石渠宝笈次等”。
此后，梁诗正受命代笔在《无用师卷》上题跋，解释了花大价钱买“赝品”的初衷：“……此卷笔力苶弱，其为膺鼎无疑，惟画格秀润可喜，亦如双钩，下真迹一等，不妨并存，因并所售以二千金留之，俟续入《石渠宝笈》，因为辨说，识诸旧卷……”
乾隆皇帝颇有风雅兴致，一大爱好就是把玩皇宫收藏的历代名画，之后在上面留下题画诗。而《无用师卷》画上，除了这段“御识”，再没有留下任何“乾隆御笔”。
