父母對(duì)麥迪遜的教育頗為重視，再加上他身體虛弱，所以他的啟蒙教育是由父母在家中進(jìn)行的。十一歲時(shí)，父親送他到名師唐納德·羅伯遜的學(xué)校就讀，主要學(xué)習(xí)數(shù)學(xué)、地理、文法和拉丁文等科目。羅伯遜先生的治學(xué)態(tài)度雖有幾分刻板，但十分嚴(yán)謹(jǐn)，講求實(shí)效，五年的學(xué)習(xí)生涯使得麥迪遜終生獲益。16歲時(shí)，麥迪遜又拜托馬斯·馬丁牧師為師，在學(xué)習(xí)人文和自然科學(xué)的同時(shí)，他還認(rèn)真研究了神學(xué)。1769年，他進(jìn)入了普林斯頓的新澤西學(xué)院。在這里，麥迪遜讀書、交友、娛樂，生活豐富多彩，充滿情趣。他學(xué)習(xí)的范圍十分廣泛，涉獵過自然科學(xué)和社會(huì)科學(xué)的許多領(lǐng)域，尤其擅長演說，這為他后來從事政治活動(dòng)提供了便利。他酷愛讀書，經(jīng)常手不釋卷，特別喜歡讀洛克、伏爾泰、孟德斯鳩等著名啟蒙思想家的作品，深受啟蒙思想的影響。他大學(xué)時(shí)代的幾位密友大都才華橫溢，抱負(fù)遠(yuǎn)大，后來成為美國獨(dú)立和建國時(shí)期的風(fēng)云人物，其中菲利浦·弗雷諾后來成為優(yōu)秀的詩人；威廉·布雷德福在政治上初露頭角早于麥迪遜，曾出任美國第2任司法部長。

在業(yè)余時(shí)間，麥迪遜喜歡散步、騎馬、欣賞大自然的景色，也喜歡下棋。他還是一位出類拔萃的社會(huì)活動(dòng)家，顯示出天才的鼓動(dòng)性和組織才能。他還養(yǎng)成了做事情有條不紊的習(xí)慣，看不起那些不遵守社會(huì)規(guī)則的人。有時(shí)也搞點(diǎn)惡作劇，但由于他一貫品學(xué)兼優(yōu)，后來院長在回首往事時(shí)說，麥迪遜 從未做過或說過任何不妥的事 。由于學(xué)習(xí)勤奮，刻苦鉆研，麥迪遜只讀了兩年大學(xué)就獲得文學(xué)學(xué)士學(xué)位，提前畢業(yè)，并留校隨院長約翰·威瑟斯龐進(jìn)行神學(xué)和希伯來文法方面的研修。

1772年春，麥迪遜因病棄學(xué)返鄉(xiāng)。父親希望他承擔(dān)起種植園的管理和經(jīng)營工作，發(fā)展和擴(kuò)大祖上留下的產(chǎn)業(yè)。但青年麥迪遜另有凌云壯志，他決心繼續(xù)在法律和政治等領(lǐng)域進(jìn)行研讀，為將來在政治舞臺(tái)上施展才華打下堅(jiān)實(shí)的基礎(chǔ)。

1774年，他取得了律師資格，但從未從事這一職業(yè)。

麥迪遜信仰圣公會(huì)的基本教義。他相信有救世主存在，但認(rèn)為它并不干預(yù)宇宙和世界萬物的正常運(yùn)轉(zhuǎn)，從這一點(diǎn)來看，他很接近于自然神論者。

麥迪遜身材不高，只有五英尺四英寸，身體單薄。儀表也談不上英俊或威武，棕發(fā)碧眼黃面，鼻子有凍傷的痕跡。他衣著整潔考究，為人靦腆謹(jǐn)慎，還有點(diǎn)神經(jīng)過敏，給人的第一印象并不佳。但與他相處稍久就會(huì)發(fā)現(xiàn)，麥迪遜具有堅(jiān)韌的個(gè)性，深邃的洞察力和超人的智慧，他處事機(jī)敏靈活，但在大的原則上從未發(fā)生過動(dòng)搖，這便是他日后成為一位深孚眾望的政治領(lǐng)袖的最基本的素質(zhì)和品格。

投身獨(dú)立戰(zhàn)爭取得律師資格后，父親再次動(dòng)員他繼承家業(yè)，肩負(fù)起管理種植園的責(zé)任，但他仍未接受。不久，他就投入了反抗英國殖民壓迫的革命浪潮之中。

1774年，麥迪遜被選為奧蘭治縣安全委員會(huì)委員。獨(dú)立戰(zhàn)爭爆發(fā)后，他立即參加了該縣的民兵，被授予上校軍銜，而他父親則是該縣民兵的負(fù)責(zé)人。

兩年后，麥迪遜進(jìn)入特權(quán)與選舉委員會(huì)，鑒于他具有豐富的法學(xué)和政治學(xué)知識(shí)，他的主要工作是起草各種法律文書和一份重要的權(quán)利法案。同年又入選第一屆弗吉尼亞議會(huì)，參加了起草州憲法的工作。在這次會(huì)議中，麥迪遜在法學(xué)方面的才華和愛國精神得到了初步展示。此時(shí)，他與剛從大陸會(huì)議載譽(yù)歸來的杰斐遜相識(shí)，遂結(jié)下終生友誼。在州議會(huì)中，他通常支持杰斐遜提出的開明的議案。為了實(shí)現(xiàn)宗教信仰自由，他成了杰斐遜的弗吉尼亞《宗教自由法案》的最強(qiáng)有力的支持者。

1777年4月，麥迪遜競選連任州議員失敗，原因大概是他過于清高，不善于 逢迎討好 選民。與他有姻親關(guān)系的州長帕特里克·亨利此時(shí)幫了他一把，派他在州政會(huì)議任職。但他對(duì)這一機(jī)構(gòu)十分厭惡，稱它為 埋葬一切才能的墳?zāi)?，因?yàn)樗噲D侵犯行政權(quán)力。麥迪遜在該會(huì)議任職兩年，與歷任州長通力合作，在處理戰(zhàn)時(shí)事務(wù)方面成績卓著。在此過程中，他沒有間斷學(xué)業(yè)，仍博覽群書并主攻法律。