當反英獨立的革命風暴沖擊北美大陸時，馬歇爾毅然告別了平民生活，加入到革命斗爭的行列之中。

1775年春天，馬歇爾參加了當地的民兵組織，在弗吉尼亞打擊英國軍隊。后來，他參加了大陸軍，轉戰(zhàn)各地，先后參加了布蘭迪萬、福吉谷、日耳曼敦等戰(zhàn)役，在歷次軍事行動中均有突出表現，軍職不斷晉升。艱苦的戰(zhàn)斗歲月鍛煉了他的毅力和品格，也增強了他的領導和決斷能力。此時期他給人的印象是性格堅強執(zhí)著，辦事果敢有效率，但比較刻板。

1780年，馬歇爾退役。他決定繼續(xù)學習法律專業(yè)，不久，便進入了威廉·瑪麗學院，師從托馬斯·杰斐遜當年的老師喬治·威思先生。在當時，弗吉尼亞律師協會對從業(yè)人員的要求極高，但由于馬歇爾為人忠誠，業(yè)務能力過人，所以很快就取得了律師資格。

1782年初，馬歇爾移居里士滿。同年與瑪麗·安布勒小姐喜結良緣?；楹蠓蚱薷星樯鹾V，家庭生活穩(wěn)定而幸福。就在這一年，馬歇爾被選入州立法議會，他的律師業(yè)務也開展得十分紅火，很快就成為當地律師界的精英。

這時期，馬歇爾的聯邦主義政治傾向日益明顯。他根據自己的軍人生涯和邦聯體制的弊端，深切感到建立聯邦制國家的必要性，因此積極支持1787年費城《聯邦憲法》。此后，他成為弗吉尼亞批準憲法運動的領導人之一，對于聯邦憲法在該州的批準起了重要作用。出于對司法權的高度重視，此間他反復強調司法權對立法權的制約作用，因此在法律界贏得了聲譽。

聯邦政府建立后，馬歇爾的觀點與聯邦黨人十分相近，支持亞歷山大·漢密爾頓的一攬子經濟計劃。但由于個人財務等問題，他沒有接受政府對他的一些重要任命。約翰·亞當斯總統任內，美法矛盾尖銳，亞當斯總統派馬歇爾參加一個赴法使團，試圖解決兩國分歧。馬歇爾接受了任命。但督政府外交部長塔列朗沒有與使團見面，而是派來幾個說客羞辱性地誘使美國人向法國行賄，而后才能進行談判。美國人拒絕了（但也有史學家通過研究認為，如果當時法國人同意談判期間停止在海上捕獲美國船只，美國人是同意行賄的）。馬歇爾以高傲的姿態(tài)回絕了法國人的索賄要求，然后憤而離境，其正義言行得到了國人的交口稱贊。

1799年，在帕特里克·亨利的大力支持下，馬歇爾當選為國會議員。在國會中，他是亞當斯總統最堅定的支持者之一，雖然他此時的某些主張與聯邦黨人不盡相同。

出任國務卿 1800年6月，在友人的再三勸說之下，馬歇爾終于接受了亞當斯總統的任命，出任美國國務卿一職。此時，美法關系不斷惡化，法國私掠船不斷在公海上掠奪美國商船，以漢密爾頓為首的新英格蘭聯邦黨人主張對法宣戰(zhàn)。馬歇爾雖然具有親英傾向，但支持亞當斯總統繼續(xù)執(zhí)行中立政策，設法通過外交途徑解決爭端。1800年9月，美國派出新的外交使團赴法談判，簽訂了和約，宣布廢除1778年美法同盟條約，重申公海自由的原則，從而結束了一場一觸即發(fā)的戰(zhàn)爭危機。這一條約是美國孤立主義外交的體現，使美國遠離了歐洲的紛爭，但它卻造成了聯邦黨內部嚴重的分裂。馬歇爾還促成了與西班牙等歐洲國家的談判，以穩(wěn)定美國的對外貿易。這一條約也表明了法國對美國政策的轉變，即不再試圖控制美國，或利用美國對抗英國。