聯(lián)邦政府建立后，馬歇爾的觀點(diǎn)與聯(lián)邦黨人十分相近，支持亞歷山大·漢密爾頓的一攬子經(jīng)濟(jì)計(jì)劃。但由于個(gè)人財(cái)務(wù)等問題，他沒有接受政府對他的一些重要任命。約翰·亞當(dāng)斯總統(tǒng)任內(nèi)，美法矛盾尖銳，亞當(dāng)斯總統(tǒng)派馬歇爾參加一個(gè)赴法使團(tuán)，試圖解決兩國分歧。馬歇爾接受了任命。但督政府外交部長塔列朗沒有與使團(tuán)見面，而是派來幾個(gè)說客羞辱性地誘使美國人向法國行賄，而后才能進(jìn)行談判。美國人拒絕了（但也有史學(xué)家通過研究認(rèn)為，如果當(dāng)時(shí)法國人同意談判期間停止在海上捕獲美國船只，美國人是同意行賄的）。馬歇爾以高傲的姿態(tài)回絕了法國人的索賄要求，然后憤而離境，其正義言行得到了國人的交口稱贊。

1799年，在帕特里克·亨利的大力支持下，馬歇爾當(dāng)選為國會(huì)議員。在國會(huì)中，他是亞當(dāng)斯總統(tǒng)最堅(jiān)定的支持者之一，雖然他此時(shí)的某些主張與聯(lián)邦黨人不盡相同。

出任國務(wù)卿1800年6月，在友人的再三勸說之下，馬歇爾終于接受了亞當(dāng)斯總統(tǒng)的任命，出任美國國務(wù)卿一職。此時(shí)，美法關(guān)系不斷惡化，法國私掠船不斷在公海上掠奪美國商船，以漢密爾頓為首的新英格蘭聯(lián)邦黨人主張對法宣戰(zhàn)。馬歇爾雖然具有親英傾向，但支持亞當(dāng)斯總統(tǒng)繼續(xù)執(zhí)行中立政策，設(shè)法通過外交途徑解決爭端。1800年9月，美國派出新的外交使團(tuán)赴法談判，簽訂了和約，宣布廢除1778年美法同盟條約，重申公海自由的原則，從而結(jié)束了一場一觸即發(fā)的戰(zhàn)爭危機(jī)。這一條約是美國孤立主義外交的體現(xiàn)，使美國遠(yuǎn)離了歐洲的紛爭，但它卻造成了聯(lián)邦黨內(nèi)部嚴(yán)重的分裂。馬歇爾還促成了與西班牙等歐洲國家的談判，以穩(wěn)定美國的對外貿(mào)易。這一條約也表明了法國對美國政策的轉(zhuǎn)變，即不再試圖控制美國，或利用美國對抗英國。

最高法院 掌門人 1801年初，馬歇爾受命出任聯(lián)邦最高法院首席法官。亞當(dāng)斯之所以任命馬歇爾主要基于兩點(diǎn)考慮：第一，馬歇爾是一位堅(jiān)定的聯(lián)邦主義者，具有很強(qiáng)的原則性；第二，馬歇爾是弗吉尼亞人，最高法院中應(yīng)該有這個(gè)重要的州的代表。事實(shí)證明，這是亞當(dāng)斯總統(tǒng)所做出的最重要的決策之一，馬歇爾對最高法院產(chǎn)生的影響是極其深遠(yuǎn)的。馬歇爾扮演了最高法院 掌門人 的角色，以維護(hù)司法權(quán)的地位和尊嚴(yán)為己任。正是在馬歇爾任內(nèi)，最高法院確立了眾多司法慣例，司法權(quán)的獨(dú)立地位得以確立。

亞當(dāng)斯總統(tǒng)卸任前大力擴(kuò)充下級聯(lián)邦司法機(jī)構(gòu)，把許多聯(lián)邦黨人塞入政府部門。杰斐遜政府力圖通過制定《撤銷法》撤銷這些機(jī)構(gòu)。馬歇爾認(rèn)為這是對司法權(quán)的挑戰(zhàn)，于是他便利用 馬伯里訴麥迪遜案 來證明法院的權(quán)威。該案的內(nèi)容是：被提名擔(dān)任已經(jīng)取消了法院職務(wù)的聯(lián)邦黨人要求法院下令，迫使國務(wù)卿麥迪遜頒布委任狀。最高法院的裁決是：馬伯里有權(quán)得到他的補(bǔ)償，但判給他補(bǔ)償不在最高法院的職權(quán)范圍內(nèi)。該判決使最高法院獲得了極為重要的司法復(fù)審權(quán)。馬歇爾強(qiáng)調(diào)法律對契約和財(cái)產(chǎn)的保護(hù)，從而限制了政府對個(gè)人經(jīng)濟(jì)事務(wù)的介入。馬歇爾還使最高法院獲得了判定各項(xiàng)法律是否違憲和審理下級法院的決議等重要權(quán)力。他所堅(jiān)持的聯(lián)邦權(quán)力高于州權(quán)的思想對后世具有深遠(yuǎn)的影響力。在杰斐遜總統(tǒng)第2任期間，伯爾叛國事件敗露。在審判伯爾時(shí)，馬歇爾主張對憲法關(guān)于叛國罪的定義從嚴(yán)進(jìn)行解釋，并親任審判長，最終以 證據(jù)不足 為由使伯爾無罪開釋。這是對杰斐遜政府的一次沉重打擊。

由于馬歇爾堅(jiān)持他一貫主張的原則，敢于與聯(lián)邦政府公開抗?fàn)?，使他成為政府反對派人士心目中的英雄。馬歇爾在最高法院任職一直到他離開人世，他與行政權(quán)之間，特別是與杰斐遜、麥迪遜等總統(tǒng)的相互斗爭始終在持續(xù)著，并不時(shí)摩擦出火花。但有學(xué)者認(rèn)為：正是這一矛盾斗爭使得美國的政治體制日益充實(shí)完善，在充分發(fā)揮聯(lián)邦政府職能作用的同時(shí)，有力地發(fā)揮司法權(quán)的限制和保護(hù)作用。

馬歇爾的活動(dòng)范圍不僅僅限于司法領(lǐng)域，他在其他領(lǐng)域亦有所建樹。他編寫出版了《喬治·華盛頓生平》一書，在當(dāng)時(shí)產(chǎn)生了轟動(dòng)，但也有人指責(zé)他以歌頌華盛頓為名，宣揚(yáng)聯(lián)邦黨人的觀點(diǎn)。

1835年7月6日，七十九歲高齡的約翰·馬歇爾在費(fèi)城病逝 據(jù)說自由鐘恰在此時(shí)破裂，好像在為一位重量級人物的去世表示哀悼。