因为父亲黄定华是徽商，黄宾虹家境优裕。24岁，黄宾虹结婚后的第二年，复往扬州，经友人介绍谋得两淮盐运使署文书一职，所得薪资正好收购字画。据载，当时正值盐政改革，盐商业务失败，纨绔子弟不事生产，只得变卖家藏度日，而且不分好歹贵贱，任意出售，黄宾虹则趁机收购。

    黄宾虹去扬州拜访亲戚何维键（号芷舠，由湖北官任上辞官退隐到扬州，购买了片石山房并扩建为寄啸山庄，俗称“何园”）。何维键家富收藏，除了明清画作，还拿出黄公望、倪云林、黄鹤山樵等元人名画给远道而来的黄宾虹欣赏。他又把黄宾虹介绍给当地收藏家程尚斋，使黄氏得以亲觌明末清初的石涛、石谿、渐江和邓石如、包世臣等人的作品。

    1904年，39岁的黄宾虹受同乡之邀，到芜湖的安徽公学去襄办校务，当时芜湖是东南革命志士的集中地，也是民族民主革命思想交汇之地。黄宾虹与黄节、邓实等人的友情也因办学建立起来。后来黄宾虹与邓实一起编印的《神州国光集》与《美术丛书》，也是他们广泛涉猎金石书画收藏之后的产物。之后的“贞社”也是以他和宣哲为主，集合爱好金石书画收藏、鉴赏的团体。

    辛亥革命爆发后，封建世家、名宦巨公纷纷逃入上海租界，也有封疆大吏、官绅富商在上海开设古玩铺，文物收藏流入市场被外国人抢购。王秉恩和吴巽沂（吴仲坰之父）在旧跑马厅，开办名为“和光阁”的古玩铺买卖书画，黄宾虹、吴昌硕、狄平子等都是常客。

    袁世凯篡夺革命果实后，南社成员、同盟会会员四散，“国学保存会”改为“神州国光社”，且增设古物流通处，邓实也开始兼营古物买卖业务。随之黄宾虹也开了一家“宙合斋”文物铺。1935年5月24日余绍宋来沪过访，观黄宾虹所藏，在日记里写道：“滨虹出卅余幅出示，多佳者，惜匆匆展视，不能仔细领略耳。其中最赏者为董文敏、王叔明、仇十洲、汪芝瑞、戴鹰阿、郑慕倩、释石涛、沈石田、唐六如等，宾虹喜藏皖派山水，盖怀念其乡先达之意。”余绍宋时任杭州《东南日报》特种副刊《金石书画》的主编，于是向黄老商借所藏历代名人书画，比如夏昶、董其昌、渐江、石涛等人的作品在该刊发表。

    1936年，黄宾虹重回安徽老家，与夫人一起再登黄山，追吊渐江的故墓。此后下半年他就应北平古物陈列所之聘北上，除了审定故宫南迁书画以外，还兼任北平艺术专科学校讲师。

    据他自己说，“近伏处燕市，谢绝应酬，惟于故纸堆中，与蠹鱼争生活，书籍、金石、字画，竟日不释手。”所以在此期间，他将积累了三四十年的资料整理、分析、归纳，编成一部《渐江大师事迹佚闻》。在这个过程中他还找到许多石谿与垢道人程邃的资料，所以他闭门整理旧稿，写出了包括《释石谿事迹汇编》和《垢道人佚事》在内的三部画家传记。在日本人侵占北平的大环境下，目击时艰，他着力研究这三位明末清初的画家，有着特殊的意义。

    在这段寂寞的岁月里，他把玩金石书卷，将看到的书画题识、题诗、拓本跋尾、古籀考释等随手摘抄下来，据此编写了画史汇传《文徵明》《沈石田传》，先后在神州国光社印行。

    寓京十年后，黄宾虹在1948年选择南归。时事不靖，民生痛苦。从当时他与友人的往来信件中可见，当时他的生活称得上捉襟见肘，甚至开始出售所藏书画。在给王聪的信中他写道：“所急食物全缺，甚于北方。交通乏暇，友助亦缺。不得已将于两浙有关文物贬值斥卖，然对故都收入已减。……敝箧尚有徽歙先哲书画数十件，沪上有无兜售之处？闻家乡长王允孝翁欲以贱值取之，谅不到外省人半价，因此保存身边作伴（能销当即抄单寄奉）。”1951年在给张虹的信中他再次写道：“杭沪各省通车已便，巨室旧藏出而易米，时有所见。……附古玉拓本蜡摹一纸。”

    夏承焘在《天风阁学词日记》里，记录了黄宾虹自1948年定居杭州直到1955年去世这生命中最后7年的时间里与湖上诸多友人的交往，这些文字资料为我们了解黄宾虹的收藏提供了最翔实的依据。

    1948年10月9日，黄宾虹在外西湖艺专画廊展出所藏古今名画40件，并亲临会场讲解。马一浮、金息侯诸儒皆临会欣赏。据标为10月10日写成的文献记录：“有小李将军（李昭道）山水，赵松雪（孟頫）、罗两峰（聘）、朱白民（注：鹭）山水花卉，又有隋大业间一沙门纸画神像，皆极名贵。”这仅仅是黄宾虹收藏的冰山一角。

    1949年黄宾虹致信曾香亭、段栻：“敝藏有邹臣虎一册，有笪重光题云原有十二页，中只四页是真迹，余为门客所作。惟此为金山寺僧所藏，系查声山后人留北平者，前十年流入厂肆购得之。恽道生有扇页一个，极精美，前年为张宜之以张恂画卷易去，今尚存数件颇精者。宋元名家真迹，平时最宜多见，能收藏更佳。或临摹既多，心得有说不出之妙，在心领神会中，深者见深，浅者见浅。即后人临古之作，亦当收藏，明其优劣。金石文字有关作画用笔处尤多，故画必当研究金石文字。……但古物极不易遇，而摹仿者亦不必尽弃。东坡言寓意于物而不留意于物可耳。”一年后又述：“敝藏黄山新安先哲画数十家，如明人詹景凤、丁云鹏、程孟阳、李流芳均有一二，惟简笔最可爱。”黄宾虹谓偏爱新安画家李周生，有仿前人简笔之作，因其简笔而能繁，尤为可贵。

    作为一个画家、收藏家和鉴赏家，不乏想与其探讨藏画，甚至亲眼一观之人。对于这些慕名而来的友人，他从不惮烦，但必先问明欲观赏之流派，然后出示古画。他曾说：“来客要看四王一派的画，如果拿董、巨的作品，可能不合对方脾胃，反之也是同一道理。否则来客要怀疑我拿不出珍品来，或者认为是搪塞他们。”黄宾虹收藏的丰富，可想而知了。