晉武帝為他淚目而冰！

　　更有甚者，他實行以道德感化來征服東吳將士的攻心之策，大巧若拙，誠信至上，不僅互通信使，還有禮物往來。應該說，這個戰略思想在當時的客觀條件下無疑是對的，實踐中也確實收到了良好的效果。這裡面有一個問題，那就是非常容易被別人扣上通敵的帽子，這也是非常具有殺傷力的一個罪名，因為你手握重兵，而皇帝又不經常和你在一起，他也常常是難辨別真假，眾口鑠金，後果往往很嚴重。可是，羊祜不管這些，“苟利國家生死與，豈因禍福避趨之”，這個危險的政策，他一直實行到死。

　　公元278年，羊祜病逝。朝野聞之，無不大慟。據載，晉武帝披麻戴孝扶棺痛哭，淚水在臉上都結了冰。荊襄各地，一片哭聲。東吳的戍邊將士，也都暗中垂淚。羊祜生前，喜遊峴山，襄陽各界便在山上為他建廟和立碑，按時祭祀。

　　每逢來到此處，都忍不住失聲落淚，後人遂把此碑稱為“墮淚碑”。荊州人為了避羊祜的名諱，還把房屋的“戶”都改叫“門”。

　　羊祜曾經對自己的兒子說過這樣的話：“人臣樹私則背公，是大惑也。”

　　在給堂弟羊琇的信中他這樣說：“疏廣是吾師也”。應該說，這就是他的肺腑之言，他的一生也正是這樣做的。可以說，羊祜的“不合時宜”，為的都是國，都是民，而唯獨沒有他自己。正因為如此，他死後才會那麼深入人心、那麼讓人懷念。