在直皖戰(zhàn)爭失敗后，段祺瑞雖說已經(jīng)吃齋念佛，但他并沒有真正看破紅塵，做到四大皆空。每次有學(xué)生、舊部、朋友來拜見他，說起國內(nèi)戰(zhàn)火紛飛、人民流離失所的時候，老段總是板著臉，一言不發(fā)。唯獨他們說到“要收拾局面，非老師東山再起不可”之時，老段一貫冷若冰霜的臉上，才會多少露出點欣慰的笑容。這老段！

時隔四年后（1924年），老段再次出山任*臨時執(zhí)政，重新回到了政壇。和從前一樣，老段仍舊是上午辦公，下午下棋或者賦詩，晚上打牌，唯獨與之前不同的是，老段增加了一個內(nèi)容，那就是早上必到公館中專門的佛堂去誦經(jīng)。

一年半后，在執(zhí)政府門口發(fā)生了震驚中外的“三一八”慘案，段祺瑞聞訊后趕到血案現(xiàn)場，曾長跪不起，為死者超度。不久，老段再次下野，從此徹底遠(yuǎn)離了紛繁多變的政治漩渦而只在家中吃齋念佛，或者下下棋、寫寫字，不再過問世事。

1931年“九一八”事變后，日本人又把侵略的魔爪伸向了華北，并試圖拉攏段祺瑞出來充當(dāng)代理人。為防止段祺瑞為日本人所用，蔣介石在1933年1月21日派人將段祺瑞從天津接到南京。在浦口乘船過長江的時候，蔣介石率一批高級將領(lǐng)親自前來迎接并執(zhí)弟子禮（蔣介石留學(xué)日本士官學(xué)校前系北洋速成武備學(xué)堂統(tǒng)一送出，當(dāng)時段為學(xué)堂督辦）。隨后，段祺瑞便定居在上海。

1936年11月2日，段祺瑞因胃潰瘍引發(fā)大出血而去世，享年72歲。段祺瑞的病，據(jù)說與其常年吃素、營養(yǎng)不良有關(guān)，但之前醫(yī)生和親友建議他進(jìn)點葷食以提高抵抗力時，段祺瑞堅決拒絕并表示：“人可死，葷不可開！”

老段在信佛之后，除了自己養(yǎng)幾只母雞下蛋供應(yīng)外，葷食一概不碰。有趣的是，老段只養(yǎng)了幾只母雞，而沒有公雞，因為他認(rèn)為這樣下的蛋才是“素雞蛋”，是可以吃的。后來他年老后身體虛弱，但仍舊不肯開葷，也足見其性格之倔強(qiáng)。

臨終前，段祺瑞曾寫下親筆遺囑，諄諄告誡后人：“國雖危弱，必有復(fù)興之望。復(fù)興之道亦至簡單，勿因我見而輕起政爭，勿信過激之說而自搖邦本。講外交者勿棄固有之禮教，求學(xué)者勿騖時尚之紛華。所謂自力更生者在此，轉(zhuǎn)弱為強(qiáng)者亦在此矣?！?/p>

由于段祺瑞生前信佛，其葬禮也是照他的遺囑以居士禮簡葬。在各界名流的吊唁中，有幾副挽聯(lián)特別顯眼，一副是馮玉祥的：“白發(fā)鄉(xiāng)人空余涕淚，黃花晚節(jié)尚想功勛”；另一幅是吳佩孚的長聯(lián)：

天下無公，正未知幾人稱帝，幾人稱王，奠國著奇功，大好河山歸再造；

時局至此，皆誤在今日不和，明日不戰(zhàn)，憂民成痼疾，中流砥柱失元勛。

段祺瑞死后，由于其長子段宏業(yè)堅持要將其靈柩送往北京安葬，但因為日本侵華導(dǎo)致的時局變動，以至于十多年都無法找到合適的下葬地，最后只能草草葬在段祺瑞三弟之前買好的墳地，位置就在人來人往的大道旁邊。對此，段祺瑞的一些生前故舊忍不住嘆息：“想不到老頭子轟轟烈烈一輩子，死后竟然沒有一塊葬身的地方！”

直到1963年，在其生前好友章士釗、李思浩、曾毓雋等人的努力下，才最終將段祺瑞的遺骨起出，并重新安葬在北京西郊香山附近的萬安公墓中。

“天下無公，正未知幾人稱帝，幾人稱王；時局至此，皆誤在今日不和，明日不戰(zhàn)”，吳佩孚的這幅挽聯(lián)何曾不是兩人共同的寫照？