麥迪遜是在祖父留下的蒙彼利埃種植園里長大的。這里大約有二千公頃土地，水草豐茂，田園秀麗，遠處可以望到蒼翠的藍嶺山脈，環(huán)境十分宜人。麥迪遜一生為公務(wù)而奔波，同時也經(jīng)常在此享受恬靜的田園生活，這不僅使他換取了身心的健康，也培養(yǎng)了他對土地和土地勞動者的深厚感情。同“煙草殖民地”弗吉尼亞的其他種植園一樣，蒙彼利埃種植園也是依靠奴隸種植煙草作為主業(yè)，每年都有大批煙草從這里運往市場。盡管如此，麥迪遜從少年時起就對奴隸制抱厭惡態(tài)度。麥迪遜對童年時代的記憶很淡薄，但有兩件事在他幼小心靈的深處留下創(chuàng)痛：天花的流行和對法國、印第安人的戰(zhàn)爭（1755～1762）。當時的人們經(jīng)常恐懼地議論可能來臨的印第安人的襲擊，這使得麥迪遜對印第安人抱有某些偏見。

父母對麥迪遜的教育頗為重視，再加上他身體虛弱，所以他的啟蒙教育是由父母在家中進行的。十一歲時，父親送他到名師唐納德·羅伯遜的學校就讀，主要學習數(shù)學、地理、文法和拉丁文等科目。羅伯遜先生的治學態(tài)度雖有幾分刻板，但十分嚴謹，講求實效，五年的學習生涯使得麥迪遜終生獲益。16歲時，麥迪遜又拜托馬斯·馬丁牧師為師，在學習人文和自然科學的同時，他還認真研究了神學。1769年，他進入了普林斯頓的新澤西學院。在這里，麥迪遜讀書、交友、娛樂，生活豐富多彩，充滿情趣。他學習的范圍十分廣泛，涉獵過自然科學和社會科學的許多領(lǐng)域，尤其擅長演說，這為他后來從事政治活動提供了便利。他酷愛讀書，經(jīng)常手不釋卷，特別喜歡讀洛克、伏爾泰、孟德斯鳩等著名啟蒙思想家的作品，深受啟蒙思想的影響。他大學時代的幾位密友大都才華橫溢，抱負遠大，后來成為美國獨立和建國時期的風云人物，其中菲利浦·弗雷諾后來成為優(yōu)秀的詩人；威廉·布雷德福在政治上初露頭角早于麥迪遜，曾出任美國第2任司法部長。

在業(yè)余時間，麥迪遜喜歡散步、騎馬、欣賞大自然的景色，也喜歡下棋。他還是一位出類拔萃的社會活動家，顯示出天才的鼓動性和組織才能。他還養(yǎng)成了做事情有條不紊的習慣，看不起那些不遵守社會規(guī)則的人。有時也搞點惡作劇，但由于他一貫品學兼優(yōu)，后來院長在回首往事時說，麥迪遜“從未做過或說過任何不妥的事”。由于學習勤奮，刻苦鉆研，麥迪遜只讀了兩年大學就獲得文學學士學位，提前畢業(yè)，并留校隨院長約翰·威瑟斯龐進行神學和希伯來文法方面的研修。

1772年春，麥迪遜因病棄學返鄉(xiāng)。父親希望他承擔起種植園的管理和經(jīng)營工作，發(fā)展和擴大祖上留下的產(chǎn)業(yè)。但青年麥迪遜另有凌云壯志，他決心繼續(xù)在法律和政治等領(lǐng)域進行研讀，為將來在政治舞臺上施展才華打下堅實的基礎(chǔ)。