麥迪遜始終捍衛(wèi)他所參與創(chuàng)建的聯(lián)邦及其憲法。為此，他在晚年卷入了一場爭論：南方人認(rèn)為，各州有權(quán)宣布聯(lián)邦法令違憲而無效，并可以和平地退出聯(lián)邦。麥迪遜公開駁斥了這種觀點(diǎn)，他否認(rèn)了南方人主張擁有的這些權(quán)利的合法性并指出他從未有過把聯(lián)邦權(quán)力授予各州的主張。

麥迪遜是個大種植園主，但他對奴隸制持否定的態(tài)度，一貫認(rèn)為：長期保持奴隸制會破壞聯(lián)邦。但他的主張是溫和的：逐步解放黑奴，將他們移殖到國外。他退休后仍然堅(jiān)持這一主張，對美國殖民協(xié)會的建設(shè)工作給以極大的關(guān)注。

麥迪遜是開國元勛中最長壽的人之一，親眼目睹了工業(yè)革命在美國創(chuàng)造出的各種奇跡，看到了美國經(jīng)濟(jì)的繁榮和疆域的迅速擴(kuò)展，同時也看到了由于黑奴制問題所導(dǎo)致的國內(nèi)爭端。而且，他的晚年生活陷入困頓，不得不出賣了一部分地產(chǎn)和重要的歷史文件。

1836年6月28日，麥迪遜在親屬的圍繞下與世長辭，葬于祖父留下的莊園的家族墓地。他的墓碑上只刻有他的姓和生卒年月，其質(zhì)樸無華與墓主人的風(fēng)格十分吻合。