1782年，三十一歲的麥迪遜陷入了初戀的喜悅之中，他的心上人是15歲的基蒂·弗洛伊德。兩人深深地墮入了情網(wǎng)，難分難舍，并確定了結(jié)婚的日期。在給杰斐遜的信中，麥迪遜描繪了自己的歡樂和對幸福生活的憧憬，甚至為此他準(zhǔn)備放棄大陸會議的工作。但第二年，基蒂突然解除了婚約，與別人結(jié)為眷屬，這件事使麥迪遜的情緒一度跌落到最低谷。

1783年，麥迪遜重返弗吉尼亞議會，為了忘卻婚姻問題和官場失意帶來的煩惱，他全身心地投入了老朋友杰斐遜的民主改革事業(yè)。經(jīng)過他的努力，弗吉尼亞《宗教自由法案》終于完成了立法程序。在議會中，他領(lǐng)導(dǎo)了反對在弗吉尼亞重建主教派教會的斗爭，挫敗了某些議員提出的威脅政教分離思想的議案。他還極力促進(jìn)了本州資源的開發(fā)工作和對外貿(mào)易。他在議會中還多次呼吁不得對異端定罪和對公職人員進(jìn)行宗教考核，并提出了相關(guān)法案，經(jīng)議會審議后通過。這時(shí)期他兼任商務(wù)委員會主席，致力于提高該州各港口的等級，以加強(qiáng)同外界的競爭。

“憲法之父” 在州議會期間，麥迪遜對松散的邦聯(lián)體制的可靠性的懷疑進(jìn)一步加大，仍堅(jiān)持建立強(qiáng)大的聯(lián)邦的主張，對此，他明確指出，脆弱的邦聯(lián)制和過度的民主使國家難以應(yīng)付來自國內(nèi)外的巨大壓力。麥迪遜的言論和觀點(diǎn)得到了華盛頓的贊賞，極端的聯(lián)邦主義者甚至也把他視為同路人。

1786年，麥迪遜參加了安納波利斯會議。此會議是為討論州際貿(mào)易問題而召開的，但會議的重要之處卻在于：它決定在次年召開一個(gè)討論修改《邦聯(lián)條例》的諸州會議。麥迪遜是推動會議做出這一決定的關(guān)鍵人物之一。

安納波利斯會議結(jié)束后，麥迪遜轉(zhuǎn)道來到弗農(nóng)山莊，向華盛頓匯報(bào)了會議的情況，勸說他接受自己的主張，并參加制憲會議。

1787年于費(fèi)城召開制憲會議，歷時(shí)三個(gè)月，麥迪遜是帶著一套宏大的制憲方案前來與會的，在這個(gè)被杰斐遜稱為“半人半神的大聚會”中扮演了舉足輕重的角色，從而成了憲法的總設(shè)計(jì)師之一。他草擬的“弗吉尼亞方案”成為會議上制定的新憲法的理論依據(jù)。他為建立一個(gè)聯(lián)邦制的國家而慷慨陳詞，起草了大部分憲法條文。他主張加強(qiáng)中央的權(quán)力，在聯(lián)邦政府中實(shí)行分權(quán)制衡原則，建立具有民意基礎(chǔ)的兩院制國會體系。但他不同意漢密爾頓等極端聯(lián)邦派的主張，而是主張建立一個(gè)能在中央與各州之間層層分權(quán)的聯(lián)邦體系，確立司法部門的獨(dú)立地位，并提出應(yīng)由選民直接選舉產(chǎn)生眾議員。會議期間，麥迪遜對會議過程做了詳細(xì)而準(zhǔn)確的記錄，為后人了解這次秘密會議提供了第一手資料。《聯(lián)邦憲法》于9月17日正式簽署公布。由于麥迪遜的思想主張和社會活動對《聯(lián)邦憲法》的制定發(fā)生了巨大的影響，而且他還是制憲會議的主要記錄者，所以許多史學(xué)家稱他為美國的“憲法之父”。