1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。

北洋军阀时期，这里是北宁铁路局局长的私宅，日本占领时期成了日本宪兵队司令部，抗战胜利后又成为国民党“励志社”的所在地。因为当年铁路局局长在这里自杀，这座大院被人称为北京“四大凶宅”之一。

《直击北京疫情:冷链传播风险几何?后续咋防控?》评论家黄秋耘写了很多当时看来完全够右派资格的文章，林绍纲至今记得他有一篇文章叫《刺在哪里》，文辞严厉。但邵荃麟是黄秋耘在香港做地下工作时期的老领导，对他知根知底，党组会上将他力保了下来，只做留党察看。