道光三十年，道光驾崩，咸丰即位不久就查办了穆彰阿，撤去一切职务，永不叙用。曾国藩行事谨慎、低调、清廉、无明显巴结行为，与穆彰阿政见也不尽相同，称不上死党，所以没受到多少牵连，但他自此失去了一个强有力的靠山。
曾国藩永远感激穆彰阿的提携之恩，对穆彰阿他一直执弟子礼，言必称“鹤舫师”。穆彰阿倒台后，别人唯恐避之不及，只有曾国藩去探望了几次。穆彰阿去世12年后，已是“中兴名臣”的曾国藩专门到穆宅看望了穆彰阿的儿子穆萨廉，并为穆家修了旧宅。
穆彰阿倒台以后，在皇帝面前很少有人（肃顺算一个）替曾国藩说话，办事也是处处掣肘。咸丰六年（1856年），穆彰阿病重，曾国藩正率湘军在前线与太平军作战，病弱憔悴的穆彰托人送给曾国藩自己手书的条幅，上面赫然写道：“好汉打落牙和血吞”。
