殷海光虽然“为人应世笨拙不堪”，但仍处处不忘自己是高级知识分子，从他生活细节上，也可看到一斑。他从不坐公共汽车，他认为人的尊严会给挤掉；他喝高级咖啡，吃英国饼干，去贵族医院看病……这些都表示他也满布尔乔亚的。
另一方面，他除了不大会用电话机、不会用自动电梯外，要替人做衣服的殷太太向人收两种工钱－有钱的人要多付，没钱的要少付……这些都表示他也满书呆的一面。以这样层次的知识分子，来了解人间万象与真相，当然要受到很多限制。殷海光虽然天姿英明，但在生活面上和人事面上，却很容易被投其所好、被小人利用。我举一个例子。《自由中国》停刊以后，殷海光对国民党的厌恶更深了，一个人只要同他骂国民党，他便轻易相信这个人。有一次，台肥六厂图书室请我讲演，我认为来者不善，拒绝了；他们改请殷海光，我劝他不要去，他被封锁已久，还是去过瘾了。讲完了，一个人走过来，向他大骂国民党，立刻谈得投机起来。后来登门拜访殷海光，殷海光还把《自由中国》编辑胡虚一介绍给这陌生人。牵累到胡虚一身陷黑牢，原来那陌生人是卧底的！殷海光就是这样容易被钓的人！农村小孩钓青蛙只要用根线，往草里一放，青蛙就咬住不放，全身暴露而出。殷海光容易被小人利用，也正如此。雷震也犯同样的毛病。我同殷海光玩笑性地表示过：“你们的为人最容易被小人包围，你们搞政治，若当了政，恐怕小人当道的情形，更要严重呀！”
在我写《老年人和棒子》发表后，不久就发生了“中西文化论战”。文德（陈宏正）在《殷海光教授年谱简编》中说：
“在文化论战中，李敖独得盛名，但殷却背着黑锅。”因为“西化派中殷的学生李敖、许登源、洪成完攻击胡秋原，引起胡秋原的误会，以为西化派是殷在背后策动”。以致殷海光“以后被胡秋原、徐高阮连续不停地施以人身攻击，对其后迫害殷不能在台大授课，形成一大压力与不利环境”。这段内幕，殷海光留下一篇回忆－《我被迫离开台湾大学的经过》，其中说：
在论战中，胡秋原君知识上的短缺，思想上的混乱，被我的一，群学生指破。尤其是他参加“闽变”的往事，被李敖君指出。这一下使他的名流声威扫地。他痛心疾首之余，认为系我在背后策动，于是在《中国杂志》上参加徐君对我的围攻。这二位先生的言论，充满对我的污蔑、毒骂及构陷，但却伊然为学术尊严及自由民主而仗义执言。标榜历史文化儒家道德的某君（李敖按：徐复观也），则从旁助威……
……本年上学期末，各校发现一种宣言，不知是哪儿来的。宣言的内容主要的是批驳费正清等在美国国会证词，说他们“助匪”、“犯罪”。照我看来，这篇文章可算官方雇用文入的写作精华。彼等立论，完全是从一个政权的利益出发，罔顾世界大势。其实，费正情等人的言论，意在保全台湾。台湾这个小岛，若不是美国第七舰队保卫，恐怕早在一九五0年便“陷共”了，还有什么“反攻”空话可说？复次，这一宣言表面系“自由签名”，实际则为一“忠贞检查”。在台湾住了十几年的人，面对这一签名运动心里都有数，如不签名将被疑为不忠于某党政权，这样的人将蒙种种不便，甚至有打破饭碗的危险。在台湾这种形态的绝对主义的统治之下，谁不怕麻烦？在台湾这个饭碗难找的岛上，谁不怕打破饭碗？
于是而有一千四百位文化工作者签名的盛举。我因为一方面认为那一宣言的内容幼稚可笑，另一方面我尤其憎恶那种“间接强迫”的作风，所以拒绝签名。后来校方一高级党务人员亲自来舍劝签，仍然被我拒绝！
于是，多年累积的问题爆发了！
殷海光说“一千四百位文化工作者”的抗议宣言“不知道是哪儿来的”，但在十三年后，“哪儿来的”终于水落石出。一九七九年三月，国防部总政治部属下的黎明文化事业股份有限公司，出版了一本红皮烫金的《慎师七十文录》，是庆祝曹敏七十生日的一本专集，其中有一篇《胡秋原先生序》，我看了以后，才疑团尽解。胡秋原在序中回忆：
我是一个几乎没有所谓“社交”生活的人，与党政方面人士尤其少有个人的往来，所以我与曹慎之先生原不相识。
一九六二年，郑学稼先生和我因为一个同我们两人有投稿与书业往来的书店，在所谓文化论战后忽然对我们两人先后送红帽子，我们便先后对那书店及其作者提出诽谤案之诉讼，法院合并审理。这种官司在中国原很少见，所以开始之时旁听的人不少。当时一般朋友对郑先生与我的批评大抵是“修养不够”，“不上算”，甚至于说“好事”；只有三个人同情我们的遭遇，经常到法院旁听，这便是任卓宜、曹慎之、徐高阮三位先生。任先生是我们两人的老朋友，徐先生则因我而认识郑先生，曹先生那时与郑先生在国防部的一个研究部门同事，他是因郑先生而去，于是我在法庭开始认识慎之。
这一透露，告诉了我们：在胡秋原、郑学稼告文星的讼案一开始，曹敏便以与郑学稼“在国防部的一个研究部门同事”的身份，微妙的介入了。胡秋原又说：
当官司尚在进行之时，到一九六六年，美国国会为越战举行听证，费正清、巴奈特趁机主张讨好中共以解决越战。有一天，慎之邀约我和学稼、高阮三人，主张写一封对美国人民公开信，结果有一千数百人签名的公开信在《纽约时报》发表，一时发生相当大的影响。此我与慎之合作之一事。
这一透露，又告诉了我们：“当官司尚在进行之时”，曹敏已经“邀约”胡秋原、郑学稼、徐高阮共同合作为国民党秘密搞文宣。据一九六六年七月三日《联合报》，当时新闻局长沈剑虹曾在立法院内政委员会报告施政说：“台湾学人教授一千六百余人驳斥美国姑息分子费正清之流的谬论，曾于五月发表《致美国人民一封公开信》，已由‘新闻局’译成英文，现已洽妥《纽约时报》，于近日内连同签署者一千六百余人名单在该报刊登／可见国防部总政治部黑势力之大，大到可以自行作业，然后叫行政院新闻局到美国报上买广告的程度！胡秋原说他们“写一封对美国人民公开信，结果有一千数百人签名的公开信在《纽约时报》发表，一时发生相当大的影响”。事实上，“一时发生相当大的”，不是影响而是丑闻。因为一千六百余名学人教授的众口一声，适足反证了这些知识分子的被强奸。正因为是被强奸，所以失格的学人教授们，也就乱签一气，一千六百人中，因为在各校兼课而见名就签，以致光“签名重复”的，就有六起之多！其中朱建民、董世祁、何静安、郑小杰、卢英权、林碧沧诸教授，大名都出现两次，如此丑闻，真是今古奇观也！由签名事，参照文星被封杀，在封杀作业中，由王升主持的“国防部总政治部”，是媒孽最深的首席机构。当时文星的敌人胡秋原等，表面上是自由学人，其实骨子里却跟王升这些大政工挂钩，同干这一票“文武合一”的摘星大业。当时因为事涉机密，流传出来的内幕有限，所以无从深究。直到胡秋原事后自己这样透露，才真相大白。