更为严重的是，解缙拥护朱高炽的行为已经使他成为了朱高煦的眼中钉肉中刺。而解缙并不清楚：朱高煦就算解决不了朱高炽，解决一个小小的解缙还是绰绰有余的。
然而解缙还沉浸在成功的喜悦中，他太自大了，他似乎认为自己搞权谋手段的能力并不亚于做学问。但他错了，他的那两下子在政治老手面前简直就是小孩子把戏。一场灾难即将向解缙袭来。
来得还真快
永乐二年（1404）朱棣立朱高炽为太子后，事情并没有像解缙所预料的那样进行下去，他也远远低估了朱高煦的政治力量。事实上，随着朱高煦政治力量的不断发展，他的地位和势力甚至已经超过了太子一党。而且他的行为也日渐猖獗，所用的礼仪已经可以赶得上太子了。
此时，解缙做出了他人生中最为错误的一个决定，他去向朱棣打了小报告，报告的内容是，应该立刻制止朱高煦的越礼行为，否则会引起更大的争议。
真是笑话，朱高煦用什么礼仪自然有人管，你解缙不姓朱，也不是朱棣的什么亲戚，管得着么？此时的解缙脑海中都是那些朱棣对他的正面评价，如我一天也离不开解缙，解缙是上天赐给我的之类肉麻的话。在他看来，朱棣是对他是言听计从的。
然而这次朱棣只是冷冷的告诉他：知道了。
解缙太天真了，他不知道朱棣从根本上讲是一个政治家，政治家说话是不能信的，你对他有用时或他有求于你时，他会对你百依百顺，恨不得叫你爷爷。但事情办完后，你就会立刻恢复孙子的身份。很明显，解缙搞错了辈分。
朱棣给了解缙几分颜色，解缙就准备开染坊了，还忘了向朱棣要经营许可证。
这件事情发生后，解缙就在朱棣的心中被戴上了一顶帽子——干涉家庭内政。你解缙是什么东西？第一家庭的内部事务什么时候轮到你来管？
此后解缙的地位一落千丈，渐渐失去了朱棣的信任，加上他反对朱棣出兵讨伐安南（今越南，后面我们会详细介绍此事），使得朱棣更加讨厌他。于是，这位当年的第一宠臣，永乐大典、太祖实录的主编在朱棣的眼中变成了一个多余的人，他做的每一件事都得不到朱棣的赞许，取而代之的是不断的斥责和批评。
朱棣讨厌他，不希望再看到这个人，只想让他走远一点，越远越好。但他并没有急于动手，因为他还需要解缙为他做一件大事。
这件大事就是永乐大典的编纂工作，如果此时把解缙赶走，大典的完成必然会受到影响，想到这里，朱棣把一口恶气暂时压在了肚子里。
可叹的是，解缙对此一无所知，他还沉浸在天子第一宠臣的美梦中，仍旧我行我素。朱棣终于无法继续忍耐了，解缙实在过于嚣张、不知进退了，于是，在永乐五年（1407）二月，忍无可忍的朱棣终于把还在编书的解缙赶出了朝廷，远远的打发到了广西当参议。
这对于解缙来说是一个晴天霹雳，好端端的书不能编了，翰林学士、内阁成员也干不成了，居然要打起背包去落后地区搞扶贫（当时广西比较荒凉），第一大臣的美梦只做了四年多，就要破灭了吗？
解缙并没有抗旨（也不敢），老老实实的去了广西，此时的解缙心中充满了茫然和失落，但他没有绝望，因为类似的情况他之前已经遇到过一次，他相信机会还会来临的，上天是不会抛弃他的。
毕竟自己还只有三十六岁，朝廷还会起用我的。
然而他等了四年，等到的只是到化州督饷的工作，督饷就督饷吧，平平安安过日子不就得了，可解缙偏偏就要搞出点事来，这一搞就把自己给搞到牢里去了。
事情是这样的，永乐九年（1411），解缙获得了一个难得的机会，进京汇报督饷情况，一个偏远地区的官员能够捞到这么个进城的机会是很不容易的，按说四处逛逛、买点土特产，回去后吹吹牛也就是了，能闹出什么事情呢?
小＿说tXt天＿堂