一九六三年，王尚勤跟我的同居关系渐近尾声，尚勤表示，如果不能结婚，她想到美国留学去。我表示，我在台湾凶多吉少，难免牢狱之灾，我的处境是不适合结婚的。尚勤通情达理，她明白我的真义，决定放洋。不料到了美国不久，却发现和我在一起时不小心有了身孕，她慌张打长途电话来，我问她能不能设法“拿”掉，她说在美国有困难，最后决定就生在美国，就这样的，一九六四年女儿李文在纽约出生，出生纸上填的父亲名字是李敖。两年后，尚勤把李文送回台湾，希望留在她父母那里，以一年为期，她结婚后再把李文接到美国，后来她结婚了，我认为李文跟她，会给她不方便，决定由我接回。这时已过一年的约定，显然女儿的外公外婆喜欢外孙女，不肯放人了，于是我施用巧计，约外婆带李文看电影，电影散场时，在人丛中我和女儿有计划消失，由我弟弟一面通知外婆“小文已被接回她爸爸那里了”，一面照料外婆安全返家。当晚李文外公王光临等报警来抢李文，当警察查明原来小孩是到她爸爸家的时候，爸爸跟女儿的血亲自然比外公外婆近得多，警察也管不了了。后来王光临气得在电话中大骂我：“你是共产党！共产党！共产党！”河南土话中党字发平声而不发厌声，听来每逢党字出口，都是男高音，闻之尤觉恐怖。因为他老先生是河南省专员出身，他在家乡，官拜少将，为了革命，生杀予夺，不在话下。为了革命的需要，连他的小勇子都被当成共产党杀掉，其凶残性格、其大义灭亲气派，由此可见。逃到台湾后，王少将落魄，下放做台北县南港成德国小校长，大才小用矣！这次为了接我女儿回来，与他发生冲突，他以“共产党”作认定眼中钉标准，就是这样从宽录取的。他在台湾，如果有河南专员万分之一的权力，我早就被当成共产党杀了。多年以后，国民党伪政府开放探亲了，大陆共产党也宣布不咎既往了，有人问他何不回去看看？他摇头说：“共产党饶我，可是被杀的人的家里，若有人出来，给我难看，这张老脸怎么兜得住？”最后，他以八十之年，老死台湾。盖棺论定，此公不失为正直之人，只是头脑跟不上他的正直而已。
我在文星时代，所做的，一如《纽约时报》说李敖的，是一个“火首”（fire一brand），一个放火者、煽动者，但星星之火，可以燎原，最后烧得老K哇哇叫，我也被关在八卦炉里，变成火眼金睛，“在这岛上，谁又能比你做得更好？……谁又能比你做得更多？”－王崇五的话，三十三年后仍在我耳边响起，知人论世，这真是我最好的总评了。