在那寒冷的冬日，蜀汉第二次北伐的失败令诸葛亮深感忧虑。然而，在建兴七年的第三次北伐中，尽管再次未能取得重大成就，但他成功地夺取了武都和阴平两郡。这一系列的北伐虽然没有李严等人参与，但他们对此肯定有所不满。

李严这段时间并没有闲着，他积极策反原蜀汉降将孟达，并以“吾与孔明俱受寄托，忧深责重，思得良伴”这一招降之语来赢得孟达的心。在这个过程中，他一直坚持自己的重要地位，却被忽视在诸葛亮的重要决策中，这无疑让他感到不满，因此通过各种方式展开了对诸葛亮排挤他的反击。

一次，他给诸葛亮写信说：“劝亮宜受九锡，进爵称王”，这看似是在嘲讽或试图把诸葛亮置于众矢之中的行为。不过，无论如何，这绝不是出自善意，而是表明了他的不满。面对这一切，不仅刘备也意识到了这种情况，而且即便是后主刘禅，也开始更加依赖于其他顾问。

然而，在建兴八年曹魏大将军曹真的三路攻蜀时，诸葛亮仍然拒敌，并准备第四次北伐。他要求李严率军北上汉中受其节度，但结果证明李严并非完全顺从指挥者。当时的情况如同过去一样，对方始终无法接受自己和另外一个托孤大臣之间存在平等的地位问题。

随着时间推移，即使在权力斗争中不断发生冲突，他们对于维护蜀汉政权生存却始终保持一致。因此，当最后一次因为暴雨导致粮运不继而不得不退军时，他们还是能够相互妥协，以保证国家安全。而最终，由于种种原因和错误判断，最大的牺牲者正是那个曾经想办法逼迫另一个托孤大臣做出决定的人——李严。他被贬为平民，其政治野心和实力均遭到打压，从而彻底巩固了诸葛亮的地位，使他成为唯一掌握实权、无人可及的人物。