王升本人是没有文化水平的下三货。林正杰的《前进》杂志马屁说他是正统军人出身，这是美化王升的说法。事实上，王升只不过小学毕业外加受训不足六个月的卑鄙小子，所以他的招朋引类，也就是“武大郎玩夜猫子－什么人玩什么鸟”式的，他所欣赏并重用的大将曹敏，还不如王升念过小学，他根本没进任何正式学校。他在一九二六年混迹北伐队伍中，办党。抗战胜利后，办党报。离开大陆后，逃到香港做小生意。一九五一年来台湾，一九五二年到政工干部学校教书，见宠于王升，自此扶摇直上，伊然学术与政治之间人物矣！胡秋原等从曹敏这根线上攀王升，完成“文武合一”的挂钩，这种人是什么水准，可想而知矣！殷海光因文星而被胡秋原等迫害，一千六百人签名事件只能算是迫害中电影手法的“远景”，因为这一甄别“忠”与“不忠”方式，受害者不止殷海光一人，但是对殷海光个人的文字围剿和台大出局，却是电影手法中的“特写”、“大特写”。受害人首当其冲者，则是殷海光。殷海光说国民党迫害他是“用一种十分复杂和隐闭的方式，不易观察到”，确是事实。当时我们所能观察到的，只是表面上的文字围剿，却不知道骨子里胡秋原等的勾结国民党大珰头，动用官方的特务政工力量，整垮文星、斗垮殷海光的作业细节。如今殷海光墓草久宿、王升垂垂已老，年过九十的胡秋原自忠贞分子、反共大将一飞而直上北京矣！人世变化之奇、政海波橘之异，反反复复，有如是者！
在殷海光被迫离开台大之际，教育部去函台大，调虎离山，拟聘请殷为教育部教育研究委员会委员。殷海光很困惑，特来找我商量，他表示“不该不劳而获”，也“义不食周粟”。
我说：“不错，一个人不该不劳而获。但按照宪法第十五条，人民有生存权、工作权，你一定得在有生存机会、有工作机会的前提下，才能谈正常的不该不劳而获的道理与道德。如果环境不准你有适合你的生存权和工作权，在这样畸形的环境下，你如接受畸形的收入，也情有可原。陈独秀到死还拿政府的钱，可是何碍其为陈独秀；鲁迅到死也还拿政府的钱，可是又何碍其为鲁迅！不拿当然好，可是你能活得下去吗？至于你说‘义不食周粟’，这种道理在伯夷叔齐时代就站不住，们夷叔齐‘义不食周粟’，逃到首阳山，‘采蔽而食之’，但他门忘了，米固然是周朝的，蔽也是周朝的啊！不食周朝的米，却吃周朝的蔽，这是哪一门子的逻辑啊！何况所谓周粟，也不是什么周朝的粟，根本就是民脂民膏，你吃的是民脂民膏而已，还谈不上是国民党之饭也！”我这一番话，把殷海光说得哭笑不得。他知道我是雄辩家，他知道我故意站在他的立场为他讲宽心的话，他知道我李敖真的是“义不食周粟”那一派，当然他知道我“义不食周粟”，有我的本钱－我还年轻，我比较灵活，可以“做点小生意谋生”。殷海光连“做点小生意谋生”都不及格，因为殷太太做点裁缝工作，他都要来个二价，这种头脑，又怎配做生意呢？
至于殷海光的生活收入，所遭到的困难尚不大严重。在《自由中国》时代，雷震给他满好的待遇；《自由中国》以后，我自文星给他大力的支援。费正清到台湾的时候，约我陪他·去看殷海光，后来在南港请殷海光同我吃饭。因为殷海光曾向我表示希望美国有学术机构帮助他，我侧面问费正清可否设法，费正清说，他已对殷海光有帮助。这事我颇不快，我向黄三抱怨说：“老殷的为人我实在要骂他，他拿了费正清的研究费，却对我们不吭气，害得我们还拼命替他设法，这算什么！”，我虽然大力支持殷海光，但对他的为人，却总是以看一个不通人情的高级书呆的眼光来给他定位。他并非全无心机与权术，但这种心机与权术，总是湖北人式的，格局甚小，所以我始终不怎么喜欢他这个人。虽然我对他的蚊龙气质与文字上的才华很佩服，并且为了散布并延续这种气质和才华，尽了没有人能比得上的力量。
虽然我称殷海光做“老师”，但他清楚知道我没选过他的课，“老师”对他是尊称，是名不副实的。因此他对我，也是一种师友之情，算得上是“尊而不亲”。我的一些小朋友，像陈平景、像黄三，倒比我跟他面见得多。他跟陈平景后来为了钱有不愉快，一天早上，他特别到我家，要我用我对陈平景的影响力，收回由他口述由陈平景笔录的自传。我有点怪他不该为了点小钱否定陈平景，但我还是把陈平景说了一顿，要他交出自传。后来经我劝说，两人又言归于好。我虽然与殷海光交往不密，但每有重要情况发生，他总找到我，也特别尊重我的判断，胡虚一被捕以后，殷海光家门口被治安机关站了哨，他问我怎么办？我说要若无其事，但是学生们该少来，免得连累他们，使他们以后有记录在身，万劫不复。他认为很对，就在门上贴了不见学生的条子。殷海光进行离开台湾，也找到我，我为他奔走了一阵。不幸的是，殷海光一直到死，都没被准许离开这个岛。为了他出境的事，有一次我对他说：“国民党口口声声复兴中华文化，中华文化里有一种‘流刑’，他们倒真该复兴。如果复兴了这种放逐之刑，你和我就都可走了。”他听了苦笑。我想，他后来希望死后面对太平洋水葬，与于右任死后面对大陆土葬，正好是一个对比。
古人放逐别人，要宣布“不与同中国”，殷海光想面对太平洋水葬，除了表示他心胸的浩瀚以外，大概也有甘愿“不与同中国”的远托异国之悲吧？
一九六七年的春天，我在美而廉碰到殷海光，感到他的气色很差。本来对他的健康，我没有注意，因为这是殷太大的事。殷太太那么贤慧，照料殷海光的健康，当然不在话下。