由于杰斐遜的竭力推薦和麥迪遜本人作出的貢獻(xiàn)，他在1780年作為弗吉尼亞的代表出席大陸會(huì)議。這時(shí)期，他主張?jiān)黾佣愂找栽黾訃?guó)家的收入，爭(zhēng)取使喬治敦成為國(guó)家的首都。在外交上，他贊同分化歐洲列強(qiáng)，孤立打擊英國(guó)的策略，但已流露出孤立主義的情緒。雖然他與杰斐遜私交甚篤，并贊同杰斐遜的基本原則，但他反對(duì)松散的邦聯(lián)制，主張加強(qiáng)中央的權(quán)力。他初到大陸會(huì)議時(shí)年僅二十九歲，未露頭角。但兩年之后，已經(jīng)成為一位享譽(yù)全國(guó)的政治家和法學(xué)專家，且學(xué)識(shí)淵博，辯才出眾。

1782年，三十一歲的麥迪遜陷入了初戀的喜悅之中，他的心上人是15歲的基蒂·弗洛伊德。兩人深深地墮入了情網(wǎng)，難分難舍，并確定了結(jié)婚的日期。在給杰斐遜的信中，麥迪遜描繪了自己的歡樂和對(duì)幸福生活的憧憬，甚至為此他準(zhǔn)備放棄大陸會(huì)議的工作。但第二年，基蒂突然解除了婚約，與別人結(jié)為眷屬，這件事使麥迪遜的情緒一度跌落到最低谷。

1783年，麥迪遜重返弗吉尼亞議會(huì)，為了忘卻婚姻問(wèn)題和官場(chǎng)失意帶來(lái)的煩惱，他全身心地投入了老朋友杰斐遜的民主改革事業(yè)。經(jīng)過(guò)他的努力，弗吉尼亞《宗教自由法案》終于完成了立法程序。在議會(huì)中，他領(lǐng)導(dǎo)了反對(duì)在弗吉尼亞重建主教派教會(huì)的斗爭(zhēng)，挫敗了某些議員提出的威脅政教分離思想的議案。他還極力促進(jìn)了本州資源的開發(fā)工作和對(duì)外貿(mào)易。他在議會(huì)中還多次呼吁不得對(duì)異端定罪和對(duì)公職人員進(jìn)行宗教考核，并提出了相關(guān)法案，經(jīng)議會(huì)審議后通過(guò)。這時(shí)期他兼任商務(wù)委員會(huì)主席，致力于提高該州各港口的等級(jí)，以加強(qiáng)同外界的競(jìng)爭(zhēng)。

憲法之父 在州議會(huì)期間，麥迪遜對(duì)松散的邦聯(lián)體制的可靠性的懷疑進(jìn)一步加大，仍堅(jiān)持建立強(qiáng)大的聯(lián)邦的主張，對(duì)此，他明確指出，脆弱的邦聯(lián)制和過(guò)度的民主使國(guó)家難以應(yīng)付來(lái)自國(guó)內(nèi)外的巨大壓力。麥迪遜的言論和觀點(diǎn)得到了華盛頓的贊賞，極端的聯(lián)邦主義者甚至也把他視為同路人。

1786年，麥迪遜參加了安納波利斯會(huì)議。此會(huì)議是為討論州際貿(mào)易問(wèn)題而召開的，但會(huì)議的重要之處卻在于：它決定在次年召開一個(gè)討論修改《邦聯(lián)條例》的諸州會(huì)議。麥迪遜是推動(dòng)會(huì)議做出這一決定的關(guān)鍵人物之一。

安納波利斯會(huì)議結(jié)束后，麥迪遜轉(zhuǎn)道來(lái)到弗農(nóng)山莊，向華盛頓匯報(bào)了會(huì)議的情況，勸說(shuō)他接受自己的主張，并參加制憲會(huì)議。

1787年于費(fèi)城召開制憲會(huì)議，歷時(shí)三個(gè)月，麥迪遜是帶著一套宏大的制憲方案前來(lái)與會(huì)的，在這個(gè)被杰斐遜稱為 半人半神的大聚會(huì) 中扮演了舉足輕重的角色，從而成了憲法的總設(shè)計(jì)師之一。他草擬的 弗吉尼亞方案 成為會(huì)議上制定的新憲法的理論依據(jù)。他為建立一個(gè)聯(lián)邦制的國(guó)家而慷慨陳詞，起草了大部分憲法條文。他主張加強(qiáng)中央的權(quán)力，在聯(lián)邦政府中實(shí)行分權(quán)制衡原則，建立具有民意基礎(chǔ)的兩院制國(guó)會(huì)體系。但他不同意漢密爾頓等極端聯(lián)邦派的主張，而是主張建立一個(gè)能在中央與各州之間層層分權(quán)的聯(lián)邦體系，確立司法部門的獨(dú)立地位，并提出應(yīng)由選民直接選舉產(chǎn)生眾議員。會(huì)議期間，麥迪遜對(duì)會(huì)議過(guò)程做了詳細(xì)而準(zhǔn)確的記錄，為后人了解這次秘密會(huì)議提供了第一手資料?！堵?lián)邦憲法》于9月17日正式簽署公布。由于麥迪遜的思想主張和社會(huì)活動(dòng)對(duì)《聯(lián)邦憲法》的制定發(fā)生了巨大的影響，而且他還是制憲會(huì)議的主要記錄者，所以許多史學(xué)家稱他為美國(guó)的 憲法之父 。

為了使新憲法在弗吉尼亞得到批準(zhǔn)，應(yīng)華盛頓的強(qiáng)烈要求，麥迪遜又參與了爭(zhēng)取新憲法得到批準(zhǔn)的運(yùn)動(dòng)，因?yàn)槿A盛頓看到，在弗吉尼亞，反對(duì)憲法的勢(shì)力相當(dāng)強(qiáng)大。通過(guò)競(jìng)選，麥迪遜進(jìn)入了弗吉尼亞州的批準(zhǔn)會(huì)議，他不僅成了贊成批準(zhǔn)一派的領(lǐng)袖，而且指導(dǎo)了會(huì)議辯論。麥迪遜有力地為聯(lián)邦制和分權(quán)原則作辯護(hù)，他一再?gòu)?qiáng)調(diào)：新憲法將給國(guó)家?guī)?lái)安全、穩(wěn)定和繁榮。經(jīng)過(guò)極其激烈的斗爭(zhēng)，憲法在弗吉尼亞得以批準(zhǔn)。