卢祖尚之死在朝堂上引起了不少人的不安，虽说卢祖尚出尔反尔，因任地条件艰苦而拒不肯受交州都督一职，确不是为官者应有的品行操守，可凭此却也罪不致死。
皇帝恼怒之下，不顾朝臣劝阻，直接下令将其诛杀，此举让人不由自主的怀疑陛下是不是对太上皇李渊不满了。
这卢祖尚是太上皇的宠臣，卢祖尚在高祖时期，颇受宠信，和李孝常的关系也不错。
李孝常谋反一事，因牵连太广，最后导致皇帝不得不妥协，只诛了首恶，其它人一个没有牵连，如今看来，陛下心里的那口气是没有散啊。
尤其是和李孝常一事有关联的人，内心惶惶不可终日，太上皇李渊更是坐立不安。
自李孝常一事出来后，高祖李渊就变得分外沉默，他开始深居简出，能不在百官面前露面的时候绝不出来瞎溜达，卢祖尚被杀之后，李渊心里的这份不安愈发的浓了。
所谓天家无父子，这话可不是说着玩的，虽有孝道大于天的话法，可那只是明面上的东西。
私下里，在皇家的政权争夺史上，子杀父，父杀子的案例不计其数。
贞观三年年节刚过，内心惶恐不安的太上皇李渊将裴寂召了过来：“裴寂，二郎登基已有两年多，一应朝事在他的主导下都井井有条，什么事都用不着朕操心，你说朕是不是应该让出太极宫了？”
“这个，臣不便多言。”裴寂一听，顿时惊得一脸惶恐的站了起来。
当初太上皇同意陛下登基，提出的条件就是他在太极宫住习惯了，不想迁移。
皇帝为表孝道，欣然应允，现在此敏感时期，他一个做臣子的，实不好置喙多言。
“罢了，你下去吧，朕再考虑考虑。”李渊看了裴寂一会，挥了挥手，裴寂悄然退去。
贞观三年正月十六，李世民到太庙祭祀，二十一日，在皇籍农田上扶犁亲耕，以奉祀宗庙，力倡农耕之事，希以鼓励百姓努力开垦荒田，扩大生产，多耕多种。
正月下旬，因妖僧法雅妖言惑众，惹来李世民大怒，将其处以极刑，裴寂与其交往过密，受到牵连，被李世民免去官职，削去他一半的食邑，让他返回故里。
裴寂大惊失色，连忙上书请求，皇帝不理，他又亲自进宫向皇帝求情，说他割舍不下太上皇，请求皇帝让他留居长安。
李世民闻言怒斥：“裴寂，你的功劳、才学，品行，都不足胜任你现所居的职位，只因太上皇对你的恩宠有加，交情莫逆，朕不忍违逆父意，才容你至今。”
“可你不思君恩，和法雅这等妖人牵扯不清，我念及旧情，不对你施刑，让你回归故里，你还拉出太上皇来压朕，你安的什么心事？”
“臣，惶恐......”裴寂大惊，连忙请罪，并领旨返回蒲州。
裴寂被免职一事压断了太上皇李渊心里的最后一根稻草，他很快将李世民召到面前，并告诉他愿将太极宫让出来，自己则避居到大安宫去，大安宫就是李世民以前居住的秦王府。