梦遗处处，后遗无穷，云雨方罢，烟雨蒙蒙
一九七六年十一月十九日，我第一次政治犯出狱了。这时再过五个月，我就四十二岁了。由于吴俊才安排我去政治大学国际关系研究中心做副研究员，该中心主任蔡维屏先约见了我，此公是个官僚，虚情假意，像个YMCA（基督教青年会）总干事。言语无味。不久聘书由女职员送来，我说：
“副研究员相当于大学副教授，过去按老规矩，聘书都是大学校长亲自送上门的，怎么派女职员送来了？这是哪门子礼遇？”
女职员说：“蔡主任最礼遇李先生了，别人的聘书，都是工友送去的。”我听了，恍然大悟，时代已经变得大多了。
形式上在国关中心十二个月后，吴俊才终于同意我自动辞职了。这时我四十二岁。再过一年，一九七九年六月，我四十四岁，终于东山再起，复出了。复出后最风光的四件事是出书、上报、结婚和离婚。出书是由远景出版公司沈登恩推动，上报是由《中国时报》高信疆邀写专栏，当然立刻引起国民党官方的不快，后来压力迭至，报社主人余纪忠不堪其扰，虽未逐客，我这客人，却不得不自逐也。最后主客双方，乃分手焉。在大大小小的官方压力中，一个有趣的压力是：我在文章中，自称自己坐牢那段岁月是“蒙难”，也构成大逆不道了。这一罪状，官方是由蒋孝武提出的，令人颇堪玩味。当时长住美国的江南听说了，写了一篇《“蒙难”也不能随意用吗？》在海外发表，为我声援，可见当时文网之密，已经到了什么程度，连无知之徒蒋孝武都可干涉言论了。后来蒋孝武派人杀江南，若说祸起于“蒙难”之辨，于理亦非不可通也。
胡茵梦和我的婚变，内幕也涉及政治性。胡茵梦和我结婚前，本是国民党，她写《特立独行的李敖》发表，早就被国民党通过中影向她警告。她和我同居到结婚，压力始终不断，国民党逐步封杀她在演艺事业上的发展，使她非常沮丧。
她最后抵抗不了这种压力，而屈服、而向官方表态，表演“大义灭夫”，这是很可理解的。胡茵梦出身一个不幸的家庭，又因她的美，被社会惯坏，她的反叛性，是没有深厚知识基础的、缺乏推理训练的。她的举动，太多“表演”、“假戏”与“做秀”性质。最后，当这种举动渗人政治性的时候，我觉得这一婚姻就该立刻告一结束。孟绝子有一段话说得好：“在李敖的大地中，胡茵梦找不到真善美。李敖的天地中不是没有真善美，但那是董狐、司马迁、文天祥那一类血泪染成的真善美，是‘慷慨过燕市，从容做楚囚’式的真善美，是悲壮而深沉的真善美，而不是胡茵梦心目中的真善美。”但是，胡茵梦是不知轻重的，她被人利用，用不真实的方法伤害李敖、伤害李敖，最后伤害到她自己。胡茵梦努力求真求善，是她的大长处，但她用作伪的方法求真、用作恶的方法求善，结果闹得亲者所痛仇者所快，最后连美都没有了！
胡茵梦向官方表态，表演“大义灭夫”后第二天（一九八0年八月二十八日），我看了报，决定跟她离婚。我先请来原始的证婚人，盂绝子和高信疆，表示我今天下午就离婚，“解铃还是系铃人”，还是麻烦你们两位在离婚证书上签个字。
离婚证书上，我讨厌一般的套语，我只写上“协议离婚”四个字，就告完成。孟绝子签了字，可是高信疆却一再推托，当我得知真正的原因是高信疆太传统、不愿在离婚证书上签字以后，我也不好勉强他，就带着我和孟绝子先签好的离婚证书，一边请人送去给胡茵梦（因为我不想和她再见面了），一边匆匆赶赴忠孝东路大陆餐厅，主持记者招待会，宣布离婚。