1825年3月4日，小亞當斯就任美國第6任總統(tǒng)。選舉過程的艱辛和勝利的來之不易使他不敢有絲毫的不滿和輕松懈怠。他在就職演說中極力呼吁寬容和諒解。

小亞當斯總統(tǒng)主張對憲法條文進行更廣義的解釋，擴大聯(lián)邦政府的權(quán)力，以推進大規(guī)模的國內(nèi)改良。例如，由政府部門有秩序地處理國有土地；征收高關稅，以保護國內(nèi)工商業(yè)的發(fā)展；由聯(lián)邦負責人保護印第安人土地，使之免遭掠奪；由聯(lián)邦政府采取措施，大力發(fā)展交通運輸業(yè)，加快鐵路、公路和運河的建設項目；政府還應承擔起發(fā)展科學教育事業(yè)的重任，包括創(chuàng)辦國立大學、天文臺和資助科學研究和探險等。此時期，小亞當斯對于擴大聯(lián)邦政府的權(quán)力十分關注，從而成為“新國家主義”的先驅(qū)。

但在小亞當斯那個時代，人們對民主的一般理解是要求政府少所作為，加之南方各州擔心他推行的國內(nèi)改良計劃會沖擊奴隸制度，北方的許多人士對于他“廣義地”解釋憲法憂心忡忡，因此，他的主張帶有超前色彩。由于沒有在國內(nèi)得到廣泛的支持，致使他的計劃大部分落空，只是在發(fā)展交通運輸業(yè)方面有所收獲。

在外交領域，他做的也不如任國務卿時出色，一些外交努力由于反對派的抵制而流產(chǎn)。例如，1826年，他支持美國參加巴拿馬會議，目的是通過支持拉丁美洲各國之間的合作，增強美國對這一地區(qū)的影響力。但由于南方代表在議會中的阻撓拖延，他的這一設想未能實現(xiàn)。對此，小亞當斯感到非常痛心，認為這是對他所倡導的“門羅主義”的一次沉重打擊。

所有這些都束縛住了他的手腳，使他的總統(tǒng)任期沒有多少建樹。在1828年總統(tǒng)競選中，主要對手杰克遜又大肆渲染“骯臟的交易”，使他遭到慘敗。他在日記中寫道：“我的政治生命猶如天邊落日，即將沉淪，但我們國家的前景仍舊是一片光明。”

聯(lián)邦眾議員 卸任后，小亞當斯的情緒十分低落，因此未出席繼任總統(tǒng)的就職儀式，不久便返回了家鄉(xiāng)，試圖在書齋和田園之中尋求解脫。此時他得知，他的長子在一次海上事故中不幸身亡，這使他的身心受到了致命的打擊。雖然他對政治生活早已心灰意冷，但馬薩諸塞的人們?nèi)詫λ挠韬裢?830年選舉他為國會眾議員，這使他成為唯一一位卸任后進入國會的前任總統(tǒng)。

在國會中，他如同當年一樣以獨立人士自居，不愿為黨派政治所左右，始終不渝地維護其國家主義原則，反對州權(quán)主義。他厭惡奴隸制，曾為逃亡奴隸辯護，認為奴隸制違背人性和國家利益，但在這一問題上持溫和立場，主張緩和南北雙方在奴隸制問題上的劇烈沖突。他還反對對周邊國家的肆意侵略，例如，他反對吞并得克薩斯，并聯(lián)合一批眾議員使吞并計劃推遲了數(shù)年。他還堅定地支持保留國家銀行。

1839年，他支持通過一項議案，規(guī)定1845年以后出生的美國人不得為奴隸。但當時國會中的“限制言論條例”阻礙了這一議案的通過。為了取消這一條例，小亞當斯據(jù)理力爭，收集了大量證據(jù)。1844年，他終于促使國會廢除了這一條例，為美國反對黑奴制度的斗爭作出了貢獻。1846年，他還投票反對向墨西哥宣戰(zhàn)——有人認為，促使他這樣做的主要是他的廢奴主義情結(jié)。

小亞當斯還敦促有關部門接受了英國科學家詹姆斯·史密森的遺贈，用他的遺產(chǎn)創(chuàng)建了史密森學會，以支持科學事業(yè)的發(fā)展。1843年，辛辛那提天文臺舉行奠基儀式，小亞當斯不顧旅途艱辛，長途跋涉趕來參加盛會，因為這是他總統(tǒng)任內(nèi)未能如愿的一項工程。

擔任議員十七年的所作所為，使人們更加深刻地認識了這位杰出的政治家，人們幽默地稱呼他為“雄辯的老人”。

自從1781年進入外交界，小亞當斯從事公共事務長達六十五年，從不懈怠。1848年2月21日，他在國會中發(fā)言，就反對侵墨戰(zhàn)爭之事闡述自己的觀點，發(fā)言后不久就中風了，兩天后去世，享年八十歲。臨終時他說道：“死得其所，我愿足矣！”

1848年2月26日，全體眾議員參加了他的葬禮。四年后，他與夫人合葬在昆西公理會教堂他父母的身旁。