麥迪遜同情法國大革命，認為它是美國理想在整個世界的傳播。他認為杰伊條約是對英國的屈從，反映了美國新政府的軟弱無能，美國將為此付出巨大代價，并導(dǎo)致美法關(guān)系惡化。他主張應(yīng)加快國內(nèi)經(jīng)濟建設(shè)的步伐，使國家獨立富強，在此基礎(chǔ)上發(fā)展與各國平等的經(jīng)濟和政治關(guān)系。

約翰·亞當斯出任總統(tǒng)后，聯(lián)邦政府表現(xiàn)出明顯的黨派性，麥迪遜遂退職回鄉(xiāng)，專注于農(nóng)耕和擴建房舍，盡享家庭生活的樂趣。當他聞知政府通過了四項摧殘民權(quán)的法案時，認為共和原則和人民的民主權(quán)利受到了嚴重威脅，遂重回政壇。

1798年，他起草了《弗吉尼亞決議案》，抨擊了《外僑法》和《懲治叛亂法》，指責亞當斯政府實行政治專橫，違背了憲法的基本精神和民主原則。這一文件旨在保障公眾的權(quán)利免遭聯(lián)邦政府的侵害，麥迪遜既關(guān)注對州權(quán)的保護，同時又不是州權(quán)至上論者。在麥迪遜起草《弗吉尼亞決議案》的同時，杰斐遜起草了《肯塔基決議案》，反對聯(lián)邦黨人的倒行逆施。兩位老朋友密切配合吹響了反擊聯(lián)邦黨人“恐怖統(tǒng)治”的號角。

1799年，麥迪遜重返州議會，以實現(xiàn)他重建民主法治社會的構(gòu)想。這一時期，他團結(jié)各州的民主力量，反對亞當斯政府摧殘民權(quán)的政策，同時為杰斐遜當選總統(tǒng)運籌帷幄。

1801年杰斐遜出任總統(tǒng)后，把一批忠于共和原則且有能力的人充實進政府，其中麥迪遜被委以重任——出任國務(wù)卿，阿爾伯特·加勒廷被任命為財政部長。雖然他們個性迥異——杰斐遜是理想主義者，加勒廷是現(xiàn)實主義者，麥迪遜則是個中規(guī)中矩的實干家，但他們在工作中密切合作，形成了杰斐遜內(nèi)閣的三駕馬車。

在麥迪遜任國務(wù)卿期間，美國政府奉行孤立外交政策，大幅度精簡了駐歐外交機構(gòu)，盡力避免卷入歐洲的紛爭。

1803年，美國用和平購買的方式獲得了整個路易斯安納，使美國的領(lǐng)土面積擴大了一倍，還設(shè)法解決北非海盜對美國商船劫掠的問題。

此時美國仍是一個弱小的新生國家，尚無力保護自己的海上航運，面對英法的海上侵擾，外交努力又常常不能奏效。為了維護美國的中立國地位，麥迪遜草擬了《禁運法案》，斷絕與歐洲的貿(mào)易。但這項措施對美國經(jīng)濟造成了損害，效果也不顯著。因此，當公眾對該法普遍表示厭倦時，麥迪遜下令廢止了這項法令。

杰斐遜總統(tǒng)在卸任前的最后幾個月里處于半退休狀態(tài)，把國家政務(wù)交給麥迪遜和加勒廷處理。

總統(tǒng) 在1808年大選中，杰斐遜總統(tǒng)推薦年富力強的麥迪遜為接班人。在做出了廢除禁運的承諾之后，麥迪遜得到了絕大多數(shù)選民的支持，最終順利當選。