如果说杨轶时间只是让陈子昂与李泽宇之间的关系出现了裂痕，那么接下来发生的事情就让君臣二人的关系彻底降到了冰点。
天佑四年十二月八日，李泽宇居住的皇宫失火，李泽宇趁机提出翻盖皇宫。
李克几在位时，除了皇后金大璐，后宫并没有妃嫔。子嗣方面也只有李泽宇一人，所以皇宫的面积不大。
可是李泽宇登基后，为了稳固皇权，李泽宇先后迎娶赵氏，杨氏，又选了几名大臣之女充实后宫，原来的皇宫已经容纳不下这么多人。
考虑到以后还有更多的子嗣与妃嫔，所以李泽宇想趁机重新翻盖皇宫。
李泽宇一提出自己的想法，陈子昂第一个提出了反对。
“陛下，如今边疆战事吃紧，国家的收入都用来铸造火器，修建战舰，已没有多余的钱来为皇上翻盖皇宫了。”
“可是爱卿，朕的皇宫如今已经人满为患，很多妃嫔都是两个人一个寝宫。如果将来朕再有子嗣，你让他们住在何处？”
可以听的出，李泽宇心中已经对陈子昂有些不满。
“陛下，先帝在时，与陛下住的是同一座宫殿，修建宫殿一事，陛下还是再往后顺延些时日比较好。”
陈子昂的这一番话彻底激怒了李泽宇。
“先帝，先帝，你眼中只有先帝。先帝在时，只有我母后一人和朕一个子嗣，可是如今朕的后宫人数比先帝在时多的多，你叫朕如何安排？”
说罢，李泽宇拂袖而去。
陈子昂愣在当场。他从未想过一向对他言听计从的李泽宇有一天会在大庭广众之下让他如此难堪。
李泽宇并未听从陈子昂的提议，而是一意孤行，将修建军舰的钱挪用，为自己修建一座漂亮的宫殿。
此后，陈子昂又多次遭到李泽宇的斥责，在许多政务上，陈子昂的提议都不被李泽宇采纳。
君臣二人的关系彻底破裂。
心灰意冷的陈子昂终于知道，是到了自己功成身退的时候了。
天佑五年三月初，陈子昂借口家中父亲年迈，向李泽宇提出致仕回家。
李泽宇假意挽留一番，无奈陈子昂去意已决，三月中旬，陈子昂正式卸任宰相一职。
三月底，陈子昂离开西京返回达安。临行之前，朝中很多大臣都赶来送行。其中蒋仲文的到来让陈子昂十分意外。