長(zhǎng)期以來(lái)，美國(guó)商船經(jīng)常遭到北非海盜的劫掠，損失慘重，美國(guó)政府不得不以贈(zèng)款、贖金等形式向他們行賄，以尋求商路暢通。史密斯任海軍部長(zhǎng)后試圖改變這一局面，支持派海軍赴地中海保護(hù)美國(guó)商船的安全，并通過(guò)簽訂和約的方式打開(kāi)了這條重要的貿(mào)易通道。

為了維護(hù)美國(guó)的中立國(guó)地位，國(guó)會(huì)通過(guò)了《禁運(yùn)法案》，連續(xù)實(shí)施了一年多的時(shí)間。史密斯認(rèn)為該法不足以解決美國(guó)面臨的外交困境，并有損于美國(guó)的對(duì)外貿(mào)易和美法關(guān)系，但仍認(rèn)真履行了使命，因?yàn)樗J(rèn)為美國(guó)的主權(quán)和尊嚴(yán)必須得到維護(hù)。后經(jīng)商議，美國(guó)政府宣布廢除不交往法，提出：如英法之中任何一國(guó)改變其做法，美國(guó)就與該國(guó)交好，并對(duì)另一國(guó)重施不交往法。法國(guó)對(duì)此做出了積極的反應(yīng)，于是美國(guó)與之恢復(fù)正常貿(mào)易，對(duì)英國(guó)實(shí)施了貿(mào)易懲罰措施，但效果不甚明顯。史密斯還多次與英國(guó)交涉，以期通過(guò)外交途徑解決兩國(guó)間懸而未決的問(wèn)題，從而平息兩國(guó)的海上沖突。但由于種種復(fù)雜的原因，美英之間的矛盾沖突愈演愈烈。

國(guó)務(wù)卿 鑒于史密斯在內(nèi)閣中的出色表現(xiàn)和不凡的能力，詹姆斯·麥迪遜出任總統(tǒng)后委任他為美國(guó)第6任國(guó)務(wù)卿。此事竟播下了內(nèi)閣不和的種子，因?yàn)槭访芩古c財(cái)政部長(zhǎng)加勒廷積怨甚深，而后者則是總統(tǒng)最親密的朋友和助手。

史密斯就職不久便參加了反對(duì)加勒廷的活動(dòng)，與部分反對(duì)財(cái)政部長(zhǎng)的議員結(jié)成了政治幫派。這一分裂很快公開(kāi)化，就連加勒廷和史密斯的妻子也在公開(kāi)場(chǎng)合發(fā)生了爭(zhēng)吵。后來(lái)，麥迪遜與史密斯之間在一系列對(duì)外政策問(wèn)題上表現(xiàn)出嚴(yán)重分歧，特別是在對(duì)英法兩國(guó)的態(tài)度的問(wèn)題上，總統(tǒng)主張繼續(xù)執(zhí)行前總統(tǒng)杰斐遜的既定政策，而史密斯則傾向于與英國(guó)人交往和通商，反對(duì)對(duì)英國(guó)實(shí)施不交往法，在一些場(chǎng)合表達(dá)了自己的不滿(mǎn)情緒。結(jié)果麥迪遜對(duì)史密斯完全失去了信任，經(jīng)常越過(guò)史密斯直接插手國(guó)務(wù)院事務(wù)，有時(shí)，關(guān)于外事問(wèn)題的決定竟然是總統(tǒng)在財(cái)政部長(zhǎng)的辦公室里做出的。而加勒廷則用辭職向總統(tǒng)施加壓力，要求將史密斯趕出內(nèi)閣。加勒廷是麥迪遜最信任的內(nèi)閣成員，為了挽留住加勒廷，麥迪遜答應(yīng)了這一要求。因此在這場(chǎng)內(nèi)部斗爭(zhēng)中，史密斯最終成了犧牲品。

一天，總統(tǒng)與史密斯做了一次長(zhǎng)談，在指出他犯下的一系列過(guò)失后，要求他辭去國(guó)務(wù)卿職務(wù)，改任駐俄國(guó)公使。史密斯起初同意了，但事后認(rèn)為這是一場(chǎng)“陰謀”，因此，他用拒絕出面迎接俄國(guó)官方代表團(tuán)的方式，回絕了總統(tǒng)的任命。此后，史密斯收集了大批證據(jù)，揭露抨擊他的政敵。

1811年5月，羅伯特·史密斯返回巴爾的摩，一方面重操律師業(yè)務(wù)，一方面繼續(xù)從事政治活動(dòng)，并著書(shū)立說(shuō)，回顧自己的政治生涯。但他再也未能重返聯(lián)邦的政治大舞臺(tái)。晚年的史密斯仍然十分活躍，頻繁出沒(méi)于各種社交場(chǎng)合，以不同的身份在各種社會(huì)團(tuán)體和實(shí)業(yè)界服務(wù)。

1842年11月26日，羅伯特·史密斯病逝于馬里蘭州巴爾的摩，享年八十五歲。