“文革”中受到批判的刘白羽1978年获平反，回到军队担任了总政文化部部长。80年代初，作协的一些外事活动也常邀请他参加。他变得很谦虚，不见了过去居高临下的官气，平易近人了很多，林绍纲和他相处得很融洽。

1956年6月28日，中宣部部长办公会议决定成立研究组。杨雨民、阮章竞、康濯、严文井、葛洛、黎辛、张僖组成“作协七人小组”，负责具体调查，后改为刘白羽、杨雨民、张海组成的三人小组。调查组下设办公室，由丁宁负责，抽调了林绍纲等五人做具体工作。

《上海通过"养老立法":尊重习惯、弥合"数字鸿沟"》幽默又有些口吃的侯金镜提醒过林绍纲，但他还是在一天下午散步时被邵荃麟“逮着”了。得知林绍纲正在看巴尔扎克的《欧也妮葛朗台》和《高老头》，邵荃麟就站在小山坡上操着难懂的浙江口音跟他说了半天巴尔扎克。