麥迪遜是在祖父留下的蒙彼利埃種植園里長(zhǎng)大的。這里大約有二千公頃土地，水草豐茂，田園秀麗，遠(yuǎn)處可以望到蒼翠的藍(lán)嶺山脈，環(huán)境十分宜人。麥迪遜一生為公務(wù)而奔波，同時(shí)也經(jīng)常在此享受恬靜的田園生活，這不僅使他換取了身心的健康，也培養(yǎng)了他對(duì)土地和土地勞動(dòng)者的深厚感情。同“煙草殖民地”弗吉尼亞的其他種植園一樣，蒙彼利埃種植園也是依靠奴隸種植煙草作為主業(yè)，每年都有大批煙草從這里運(yùn)往市場(chǎng)。盡管如此，麥迪遜從少年時(shí)起就對(duì)奴隸制抱厭惡態(tài)度。麥迪遜對(duì)童年時(shí)代的記憶很淡薄，但有兩件事在他幼小心靈的深處留下創(chuàng)痛：天花的流行和對(duì)法國(guó)、印第安人的戰(zhàn)爭(zhēng)（1755～1762）。當(dāng)時(shí)的人們經(jīng)?？謶值刈h論可能來(lái)臨的印第安人的襲擊，這使得麥迪遜對(duì)印第安人抱有某些偏見(jiàn)。

父母對(duì)麥迪遜的教育頗為重視，再加上他身體虛弱，所以他的啟蒙教育是由父母在家中進(jìn)行的。十一歲時(shí)，父親送他到名師唐納德·羅伯遜的學(xué)校就讀，主要學(xué)習(xí)數(shù)學(xué)、地理、文法和拉丁文等科目。羅伯遜先生的治學(xué)態(tài)度雖有幾分刻板，但十分嚴(yán)謹(jǐn)，講求實(shí)效，五年的學(xué)習(xí)生涯使得麥迪遜終生獲益。16歲時(shí)，麥迪遜又拜托馬斯·馬丁牧師為師，在學(xué)習(xí)人文和自然科學(xué)的同時(shí)，他還認(rèn)真研究了神學(xué)。1769年，他進(jìn)入了普林斯頓的新澤西學(xué)院。在這里，麥迪遜讀書(shū)、交友、娛樂(lè)，生活豐富多彩，充滿(mǎn)情趣。他學(xué)習(xí)的范圍十分廣泛，涉獵過(guò)自然科學(xué)和社會(huì)科學(xué)的許多領(lǐng)域，尤其擅長(zhǎng)演說(shuō)，這為他后來(lái)從事政治活動(dòng)提供了便利。他酷愛(ài)讀書(shū)，經(jīng)常手不釋卷，特別喜歡讀洛克、伏爾泰、孟德斯鳩等著名啟蒙思想家的作品，深受啟蒙思想的影響。他大學(xué)時(shí)代的幾位密友大都才華橫溢，抱負(fù)遠(yuǎn)大，后來(lái)成為美國(guó)獨(dú)立和建國(guó)時(shí)期的風(fēng)云人物，其中菲利浦·弗雷諾后來(lái)成為優(yōu)秀的詩(shī)人；威廉·布雷德福在政治上初露頭角早于麥迪遜，曾出任美國(guó)第2任司法部長(zhǎng)。

在業(yè)余時(shí)間，麥迪遜喜歡散步、騎馬、欣賞大自然的景色，也喜歡下棋。他還是一位出類(lèi)拔萃的社會(huì)活動(dòng)家，顯示出天才的鼓動(dòng)性和組織才能。他還養(yǎng)成了做事情有條不紊的習(xí)慣，看不起那些不遵守社會(huì)規(guī)則的人。有時(shí)也搞點(diǎn)惡作劇，但由于他一貫品學(xué)兼優(yōu)，后來(lái)院長(zhǎng)在回首往事時(shí)說(shuō)，麥迪遜“從未做過(guò)或說(shuō)過(guò)任何不妥的事”。由于學(xué)習(xí)勤奮，刻苦鉆研，麥迪遜只讀了兩年大學(xué)就獲得文學(xué)學(xué)士學(xué)位，提前畢業(yè)，并留校隨院長(zhǎng)約翰·威瑟斯龐進(jìn)行神學(xué)和希伯來(lái)文法方面的研修。

1772年春，麥迪遜因病棄學(xué)返鄉(xiāng)。父親希望他承擔(dān)起種植園的管理和經(jīng)營(yíng)工作，發(fā)展和擴(kuò)大祖上留下的產(chǎn)業(yè)。但青年麥迪遜另有凌云壯志，他決心繼續(xù)在法律和政治等領(lǐng)域進(jìn)行研讀，為將來(lái)在政治舞臺(tái)上施展才華打下堅(jiān)實(shí)的基礎(chǔ)。