黄宾虹先生晚年生活在杭州。据他夫人回忆：他和夫人曾在二十年代从上海来杭州游览月余。他说杭州“像个大花园，处处都是景致。”当游到他晚年居住的岳庙一带，正是“斜晖脉脉水悠悠”的晚景。他说：“杭州地方真好。”夫人说：“最好住家在杭州。”他很感慨地说：“何尝不好!”但遗憾于没条件在此居住。二十多年后，这愿望还真成了现实。
1948年秋，黄宾虹先生应杭州国立艺专之聘担任教授，从北平来到杭州。他初住城西岳庙旁栖霞岭19号艺专宿舍。1952年春，迁住栖霞岭32号。
1953年2月，中央美术学院华东分院与杭州美协联合举办“黄宾虹先生九十寿辰庆祝会”，华东军政委员会文化部特授黄先生“中国人民优秀画家”的称号。
同年，中央美术学院民族美术研究所(今为中国艺术研究院美术研究所)成立，黄宾虹先生被聘为研究所所长，因病未赴，但仍以信函指导工作。
1955年3月25日，黄先生因患癌症病逝于杭州。
3月26日，由沈雁冰、齐白石、刘开渠、赖少其、傅雷、丰子恺、邵裴子、马一浮、董聿茂等有关各方代表34人，组成“黄宾虹先生治丧委员会”，并由中国美术家协会华东分会发表讣告。27日，黄先生追悼会由浙江省人民政府在杭州市宝善桥殡仪馆举行，全国政协二届主席周恩来、副主席李济深及中国美术家协会发来唁电，浙江省党政领导、美术界人士送了花圈。
1956年3月，浙江省人民委员会决定，以杭州栖霞岭32号先生故居为“黄宾虹先生纪念室”。
黄先生逝世后，其夫人宋若婴及子女秉承黄先生遗志，多次提出将托交浙江美术学院代管的遗作、遗物捐献给国家。最后，由中央文化部指示浙江省文化局予以接收，并交由浙江博物馆保存。
1958年3月，黄先生遗作、遗物由浙江省文化局与浙江博物馆、浙江美术学院分别派出葛克俭、江闻道、诸乐三、王伯敏等五人清点登记，办理交接手续，并编有《黄宾虹先生自作书画、手稿、遗物、珍藏书画、古文物、印本、拓本碑帖、藏书目录》一卷。目录按序分以下几类：1、藏书；2、印本、拓本、碑帖；3、古文物（古印、铜器、玉器、陶瓷器、砖石）；4、珍藏书画；5、自作画、手稿及遗物。
各类藏品从文物收藏角度看，目录中不少并未有精确的统计数字(这因与捐献数量过大清点时间紧张有关，但主要应是前者)。如藏书基本为种数。藏书画1038号，其中约100号少者一、二件，多者至33件。自作书画自135号后则多以包计，共35包，包内约3千余件，且还有两面画者。据当事人言，黄夫人担心清点有误，与登记数字不符，往往一包内又再放一两件。手稿一箱，其中大小共18包，更未有确数。则因此而出现有趣的现象，即在同日颁发的接收书与奖状中，数字便有出入。
为表彰黄宾虹及其家属无私的爱国行动，浙江省文化局代表人民政府于1958年3月25日假浙江博物馆文澜阁举行“黄宾虹先生逝世三周年纪念暨其遗作遗物捐献授奖仪式”。颁发黄先生家属奖状一张，奖金一万元。奖状内容如下：
奖状
黄宾虹家属宋若婴、黄用明、黄映宇、黄鉴、黄映家诸先生：
在一九五五年三月二十七日公祭黄宾虹先生的时候，你们宣布决定遵照他的遗志，将所遗作品及所藏文物等全部都献给国家，使能得到更妥善的保存，和发挥更大的作用。这些遗作及文物经委托杭州美术学院整理，计有
一、古近名画1038号
二、古印893方
三、铜器(大小)98件
四、玉器(大小)218件
五、瓷器(大小)142件
六、砖瓦砚42件
七、书籍1804件
八、黄宾虹书画作品4007件
九、手写杂稿1木箱
十、古印拓片800件
十一、碑帖41本
我们认为黄宾虹先生一生从事艺术，成就很高。他的遗作和所藏文物，具有很大的艺术价值和文献价值，特代表中央文化部和浙江省人民委员会文化部，予以正式接受。同时，我们也认为你们家属的这种意愿也应该得到表扬。
中央文化部部长沈雁冰
浙江省人民委员会
文化部部长丁九
公元一九五八年月日
同时，浙江省文化局也向黄先生家属颁发了《黄宾虹先生遗物捐献接收书》，具体文字如下：
黄宾虹先生为我国现代著名画家，一九五五年三月二十五日在杭州病逝。黄先生致力艺术事业，造诣卓越，所遗作品、手稿及收藏文物均甚丰富，并具有很大的文献作(价)值。黄氏家属秉承先生遗志，数度提出将其遗物全部捐献给国家，浙江省文化局经中央文化部指示，于一九五八年三月会同中央美院华东分院将黄氏遗物进行清点，计有
藏书1848种
珍藏印本、拓本、碑帖191份
珍藏文物(玉器、铜器、陶瓷器、砖石)1453件
珍藏古书画1001件
自作书画、手稿、遗物5652件(又65本、18包)
共计10145件(目录另附)(又65本、18包)
以上遗物，业经浙江省文化局正式接收。浙江省文化局对黄氏家属的义举，谨此表示深切的感谢。
捐献单位黄宾虹先生家属宋若婴(印)
黄用明（印）
黄鉴(印)
黄映宇(印)
接收单位浙江省文化局局长丁九(印)
一九五八年三月二五日
仪式之后，省文化局又举行了座谈会，着重谈了建黄宾虹纪念馆的问题。决定为纪念他在民族绘画上的成就与贡献，成立“画家黄宾虹先生纪念室”，由浙江博物馆管理。纪念室即黄先生晚年居所。同时决定成立由文化局副局长许钦文等十六人组成的筹备委员会，以遗作遗物为基础，筹办黄宾虹纪念室。
嗣后，宋若婴女士又分别于1958年5月5日与1959年12月17日补捐了赵松雪、陈老莲、王石谷、渐江等书画作品与黄先生遗作百余件及其他遗物数十件。计黄家三次所捐，基本可定的确数是：
一、古近名画2288张加补捐38张共2326张
二、古印913方
三、铜器81件
四、玉器219件
五、瓷器153件，加补捐36件共189件
六、砖瓦砚87件
七、书籍6896本
八、黄宾虹书画作品5646张加补捐者93张共5739张
九、手稿1木箱内有18包及《故宫审画录》65本
十、印本、拓本、碑帖272本
十一、遗物(文房及日用品等)100件加补捐49件共149件
以上共计16871件，另加各类书信、手稿18包及《故宫审画录》65本。
按：以上之所以说“基本可定”，是因一些作品的分类、统计方法不同，如有的可作手稿，也可称作品，而且还有上面提到的各种情况。
从黄先生所藏书籍，借以深入研究他的学问、艺术思想的重要性姑且不论。历代书画碑帖如此丰富，对博物馆而言，即有分等级收藏保管的工作，故需进行真伪鉴定。遂聘请了邵裴子、张宗祥、潘天寿、朱家济、王伯敏等9人做甄别工作。此工作在同年12月内基本完成。
要建纪念室，搞纪念性陈列，首先遇到的是房产问题。因故居为租用，连维修等都是难题。1959年7月，省文化局以迎接国庆十周年并需接待中外参观者的名义，向杭州市人民委员会发函，请将故居拨给省局。
纪念室于1959年9月8日就绪，正式对外开放。纪念室分三块：故居、工作室陈列、作品陈列室。开放时间为每周六、日。黄先生的作品陈列有山水、花卉与书法，以山水为主，并分早、中、晚三期。
1963年，纪念室的陈列展览作了调整充实。同年4月22日，省文化局给省人民委员会打报告，为恢复黄先生生前生活及艺术活动的陈列，拟同意省博物馆的有关意见，将纪念室改称“故居”。
1963年5月17日，省人委批复同意将画家黄宾虹纪念室改称故居，并同意在省博物馆内专辟黄宾虹作品陈列室。
1964年，“画家黄宾虹纪念室”改为“画家黄宾虹故居”，恢复原状陈列。
故居陈列布局原计划如下：
第一间：画室；第二间：寝室；第三间：膳室；第四间：陈列室
据美院诸乐三、王伯敏二先生意见，调整为：
第一间：画室；第二间：寝室；第三间：陈列室；第四间：膳室
原因是：第三间膳室原附黄太太卧室，与主题关系小，改陈列室有意义。第四间是楼梯间，无法搞陈列，做膳室放桌凳正好。
首次对黄先生书画作品开展具体整理工作是在1962年。省博物馆当时成立了专门整理小组，进行分类、登记、编号、量尺寸、制卡，并钤以浙江省博物馆藏印。其作品被分为山水、花卉、人物、书法四大类，每件贴以“黄山……号”、“黄花……号”“黄人……号”“黄字……号”的小标签。工作从11月8日开始，至12月22日结束。此次整理共计黄山1894号、黄花518号、黄人4号(按：人物画本身不多)、黄字9号。
1964年，博物馆正式成立保管部，对所有馆藏文物重新编号、登记入藏。黄先生数千件作品也分了等级，制了卡片，并拍照片或画草图在卡片上。黄先生所藏历代书画也在鉴别中。
黄先生原藏作品与自作书画的整理工作因几次运动和数度搬迁及种种主客观原因而时断时续。
1981年4月，黄先生原女婿赵志钧为搞研究，要求整理黄先生手稿等资料，省博物馆曾与之签订合同。经一个多月工作，未见如期效果，外界又有所议论，故省文管会通知暂停此工作，专门召开座谈会，对手稿整理问题进行专题讨论。认为手稿至关重要，由临时工整理本不合适，决定要有领导有计划地开展工作。但因此项工作未提到议事日程，故未能正常进行。
1982年，博物馆开始对黄家捐献的陶器、瓷器、铜器等进行分级、编目、登记，分别以三级品、参考品入藏。此工作至1984年大体完工。
1984年7月，省博物馆决定：将用1至2年时间，整理黄先生手稿，此工作将分三阶段进行。第一阶段，将手稿按性质分若干类目，作初步登记；第二阶段，按类目作系统整理，拼合零散片页，正式计件编号登记；第三阶段，在整理研究基础上，编写多卷本《黄宾虹作品集》。为完成以上工作，成立整理黄宾虹手稿领导小组，人员由党支部、馆领导和专家组成，请沙孟海先生当顾问。
1984年10月开始，至1985年夏，对手稿(含信件、论画稿、讲演稿、印谱、题画诗、古文字考证、方志、故宫审画录、随笔等)进行了初步整理。
黄宾虹纪念室是在“文革”开始后关闭的，室内所有展品也被拆除。1968年，房屋交还杭州市西湖区房管所，成为居民住房。至纪念室复建前，栖霞岭3l号（原标32号）住有连黄先生女儿在内共6家。其中一部分属私房，一部分属房管部门，一部分为住户所在单位帮助搭建，还有住户私自搭建的。
十一届三中全会后，美术院校、团体和社会人士要求恢复纪念室的呼声强烈。浙江省、杭州市及西湖区的人大代表、政协委员如赵延年、宋宗元、吴山明、潘公凯等都有提案。海外美术界人士也反映强烈。省博物馆也多次向上级部门打要求恢复黄宾虹纪念室的报告，省文化厅、省文物局对此也很重视，1984年，专文要求杭州市协助解决。11月28日，市委书记厉德馨明确批示：“黄宾虹纪念室应该恢复、建设好，居民应迁出，属哪家的由哪家解决。请市府办公室办理此事。”
1985年1月，为纪念黄宾虹诞辰120周年，由浙江省委宣传部、省文化厅、省文物局、省文联、浙江美术学院、省美协、西泠印社等机关单位组成了纪念活动筹委会。
11月27日上午，由浙江省、杭州市领导和美术界著名人士参加的150余人在杭州饭店集会，隆重纪念黄宾虹诞辰120周年。大会上，省委宣传部长罗东对黄先生的艺术和品格作了高度评价，市委书记厉德馨还专门讲了恢复黄宾虹纪念室的工作，明确表示半年动迁、半年复建，争取明年开放。下午，省博物馆举办的纪念黄宾虹诞辰120周年展览开幕，展出黄宾虹先生作品131件以及生平照片。28日上午，浙江美院国画系还举办了黄宾虹研究学术讨论会，下午，40多位画家又进行了笔会。
此次时间紧凑而又隆重热烈的纪念活动，对恢复黄宾虹纪念室工作起了很大的推动作用。
杭州市府办公室为住户搬迁问题专门发了1985年60号文件，并召开住户所在单位会议，安排住户搬迁步骤。但因住户的不同要求和房产政策等问题，工作进展缓慢。
1987年5月，全国政协委员、安徽省文联主席、著名画家赖少其专程来杭，代表部分全国政协委员向浙江省委、省政府提交了希望尽快恢复黄宾虹故居纪念室的书面建议。省长薛驹对此非常重视，专门到赖少其同志下榻处看望。并谈了他的意见：省里拨款，市里安排搬迁户的住房。
1987年7月27日市房管局给文化厅《关于同意补办土地过户使用手续的批复》。在杭州市房管局、市规划局、园文局、供电局、自来水公司及西湖区市容办、北山街道栖霞岭居民区、岳坟派出所等多家单位的配合下终于在同年11月中旬，解决了动迁的遗留问题，为纪念室的恢复和建设扫除了障碍。
1988年1月下旬，由沙孟海先生题额的“黄宾虹纪念室”复建工程竣工，并于3月25日恢复对外开放。恢复后的纪念室包括：陈列室、资料室、接待室、纪念品小卖部等。纪念室每周开放6天，开放时间为上午九时至下午四时。纪念室设主任(省博馆长兼)、副主任(省博保管部主任兼)，下设管理组，负责具体业务与事务工作。1990年1月，浙江省博物馆举行黄先生诞辰125周年纪念活动。1月18日上午，在黄宾虹纪念室举行黄宾虹雕像揭幕仪式。安放在黄先生居室前花坛中的这尊坐姿雕像由该馆美工杨伯祥先生创作。同时在博物馆文澜阁举办为期1月的“黄宾虹先生绘画作品展”。
至此，黄宾虹先生纪念室格局基本已定，之后只是局部的调整。黄先生书画作品的藏品档案制档工作也在之后几年中逐渐开展起来。
