為了使新憲法在弗吉尼亞得到批準(zhǔn)，應(yīng)華盛頓的強(qiáng)烈要求，麥迪遜又參與了爭(zhēng)取新憲法得到批準(zhǔn)的運(yùn)動(dòng)，因?yàn)槿A盛頓看到，在弗吉尼亞，反對(duì)憲法的勢(shì)力相當(dāng)強(qiáng)大。通過(guò)競(jìng)選，麥迪遜進(jìn)入了弗吉尼亞州的批準(zhǔn)會(huì)議，他不僅成了贊成批準(zhǔn)一派的領(lǐng)袖，而且指導(dǎo)了會(huì)議辯論。麥迪遜有力地為聯(lián)邦制和分權(quán)原則作辯護(hù)，他一再?gòu)?qiáng)調(diào)：新憲法將給國(guó)家?guī)?lái)安全、穩(wěn)定和繁榮。經(jīng)過(guò)極其激烈的斗爭(zhēng)，憲法在弗吉尼亞得以批準(zhǔn)。

在憲法批準(zhǔn)運(yùn)動(dòng)中，麥迪遜寫(xiě)文章闡述了他本人的憲政思想，以說(shuō)明新憲法對(duì)于美利堅(jiān)民族繁榮富強(qiáng)的重要意義，強(qiáng)調(diào)它優(yōu)于《邦聯(lián)條例》并試圖消除人們對(duì)加強(qiáng)政府權(quán)力的恐懼心理。這些文章被編入《聯(lián)邦黨人文集》，成為對(duì)聯(lián)邦憲法的權(quán)威性解釋?zhuān)湹线d的幾篇最精彩的論文是其中的精華部分。

但麥迪遜為此也付出巨大代價(jià)。由于他在弗吉尼亞的憲法批準(zhǔn)運(yùn)動(dòng)中冒犯了政治強(qiáng)人帕特里克·亨利，而亨利的強(qiáng)烈抵制使他未能進(jìn)入國(guó)會(huì)參議院，后經(jīng)過(guò)激烈競(jìng)爭(zhēng)才進(jìn)入眾議院。

新憲法中沒(méi)有權(quán)利保障條款，這與麥迪遜一貫的政治原則不符。為了彌補(bǔ)這一重大缺憾，麥迪遜參加了起草《權(quán)利法案》的工作。1791年，國(guó)會(huì)終于通過(guò)了憲法前十條修正案（即《權(quán)利法案》）。

國(guó)務(wù)卿 在眾議院任職早期，麥迪遜是華盛頓總統(tǒng)的親信和重要助手，這主要是由于他在制憲運(yùn)動(dòng)中的杰出表現(xiàn)給華盛頓留下了極深的印象。他提出過(guò)許多重要的法案，其中一些通過(guò)生效，如稅收法等。他在建立政府行政部門(mén)的過(guò)程中為華盛頓總統(tǒng)出謀劃策。華盛頓的一些重要文件也出自他的手筆，如《就職演說(shuō)》和《告別演說(shuō)》。由于麥迪遜的卓越貢獻(xiàn)和巨大影響，他在議會(huì)中實(shí)際上扮演著議長(zhǎng)的角色。據(jù)此，甚至有些人認(rèn)為麥迪遜在華盛頓政府中享有某些“特權(quán)”。但兩人的這種蜜月關(guān)系未能持續(xù)很久。

1794年9月15日，四十三歲的麥迪遜與二十六歲的寡婦多莉·佩恩·托德在西弗吉尼亞杰斐遜縣的海爾伍德舉行了婚禮。1797年定居于蒙彼利埃。多莉是個(gè)俏麗活潑、體態(tài)豐腴的美人，她喜歡著麗服、戴珠寶、出入大雅之堂，舉止優(yōu)雅大方，待人誠(chéng)懇熱情，是社交界中的寵兒。她的個(gè)人魅力為麥迪遜的事業(yè)增色不少。鰥居的杰斐遜任總統(tǒng)期間，多莉還常常扮演白宮女主人的角色。麥迪遜當(dāng)總統(tǒng)后，多莉的風(fēng)采更是傾倒了整個(gè)華盛頓，人們認(rèn)為：她是早期美國(guó)第一夫人中的佼佼者。

但是，漢密爾頓的聯(lián)邦主義與杰斐遜的民主原則很快就發(fā)生了沖突，并導(dǎo)致激烈的黨派之爭(zhēng)。麥迪遜的政治觀點(diǎn)原來(lái)就與杰斐遜相近，二人的私交也相當(dāng)好，很快就成為堅(jiān)定的政治盟友。他們反對(duì)漢密爾頓的財(cái)政計(jì)劃，認(rèn)為它會(huì)使大資產(chǎn)階級(jí)擁有特權(quán)從而控制政府，危害州和人民的權(quán)利。他們還認(rèn)為：共和政府應(yīng)建立在人民的美德和農(nóng)業(yè)經(jīng)濟(jì)之上，政府的統(tǒng)治應(yīng)得到人民的同意。這種主張與漢密爾頓建立英國(guó)式政體的觀點(diǎn)大相徑庭，在此基礎(chǔ)上形成了美國(guó)最初的兩大政黨——共和黨和聯(lián)邦黨。麥迪遜成為共和黨的實(shí)際組織者。