与柏杨朋友一场，有两点他帮我的，虽事情不大，我仍感念。第一是我一九六七年同汤炎光、屠申虹办《文风》杂志，签约时他惠予见证。第二是一九七二年二月二十人日，我自警总保安处移送军法处，即从台北博爱路移送景美秀朗桥下。第二天，看守所同意我可以用书面向看守所图书室申请借书证，同房的袁耀权也同时申请，可是晚上书来的时候，却只有我申请的先发下，借书证上登记的笔迹，一看就是柏杨的，同时还为我选了一本书——雷马克的《生命的光辉》，是以德国集中营为背景的一部小说，在苦难中读了，令人鼓舞。
我很感谢柏杨给我这次无声的优先服务，我至今不能忘记。那时柏杨正在做全所图书室主管，是“外役区”的肥缺，白天可以自由活动，如果想办法的活，也有机会照顾到我们这些整天在“押区”的难友，可是我始终没有得到他的任何照顾。
到了四月，柏杨被移送绿岛了。过了两年，“押区”的刁德善他们也要移送绿岛，我秘密请刁德善带了点礼物送柏杨，并另一个一直不被正人君子提起的屠申虹，在我写文章揭发柏杨后，他写了追忆，提到他收到一本祝贺柏杨六十岁生日的书－《柏杨与我》：
在这本花团锦簇的祝寿丈集中，到底欠缺了什么……它欠缺了几个人的名字。由于欠缺了这几个人的名字，于是，在整个事件的串连上，就发现了缺失，正好像在过去国民党的革命史上，故意遗漏了汪兆铭（精卫）一一样，让很多史实，都得不到合理的衔接。但是却又故意的增添了某些人物，于是在事件的发展上，又多出了一些可笑的枝节。
这其中所欠缺的几个名字：第一个是艾玫（柏杨先生的第二任夫人）、第二个是李敖、第三个是我－屠申虹。
由于在这本文集中，漏失了这三个名字，于是在《柏杨转告柏杨我为他奔走的种种细节，包括国际笔会开会，宣读在狱作家名字时，柏杨都名列其中等事，希望能给他一点安慰。我并请刁德善他们特别照顾他。
柏杨出狱后，托林紫耀间接转话给我，希望把我藏书中他的著作借给他，可是我的藏书，在我多年坐牢期间，经过治安机关的洗劫和亲朋的打劫，已经散失不全，柏杨作品也在散失之列，我对柏杨，只好据实转告，歉未应命。我结婚后，胡茵梦提议请柏杨吃饭，我同意了。不料她电话打去，柏杨表示他饭局很多之意，这一请客，也就作罢了。后来得知，我已被他不分青红皂白、打成好夫了。我生平义助朋友也不在少，但义助下场如此含冤莫白、如此倒胃透顶的，倒是第一遭，每一想起，就会痛恨“柏小人”也。
由于我对“柏小人”这种国民党文人的卑视，衍生出另一种情结，就是我非常讨厌我的名字和他们连在一起。有一次远流出版公司的王荣文写了一篇文章，中有一段说：“读史以识世局、决大势。……我们更乐意看到更多位如李敖、高阳、柏杨等，勤于耕耘史学的优秀作者。”我读了，深感未甘。
昔初唐四杰，有“王（王勃）、杨（杨炯）、卢（卢照邻）、骆（骆宾王）”之称，杨炯闻之，却说：“吾愧居卢前，耻居王后！”
今我耻居高、柏诸人之前，这种国民党文人的名字，跟在我屁股后面，我的屁股都引以为耻啊！正因为我考虑到我屁股的感觉，凡是有人写文章或讲话把我和国民党文人扯在一起，必犯我的大忌。当年胡适在美国，报章一登，常常有胡适、于斌如何如何。我想胡适心里一定不爽：于斌是什么东西啊！老跟我连在一起！人间无端之事，此为一端。