就在這一年，二十三歲的倫道夫成為弗吉尼亞州議會(huì)的議員。此時(shí)期的倫道夫朝氣蓬勃，充滿活力和激情，是政壇上一顆引人注目的新星。此時(shí)，正是杰出的民主主義思想家托馬斯·杰斐遜致力于弗吉尼亞州民主改革的時(shí)代，倫道夫的思想不如杰斐遜那么激進(jìn)，但在一些重大問題上的觀點(diǎn)是相同的，特別是在修改該州法律

的工作中，倫道夫也作出了貢獻(xiàn)。為了支援獨(dú)立戰(zhàn)爭(zhēng)，倫道夫忙于征兵、籌款，組建地方民兵，組織軍需生產(chǎn)，發(fā)展地方經(jīng)濟(jì)。他還在修改法律的工作中展示了杰出的才華。

此時(shí)期，倫道夫的事業(yè)真可謂一帆風(fēng)順，1779年，他被選為大陸會(huì)議代表，此時(shí)距他參加革命僅有四年，剛滿二十六周歲。

此間，倫道夫是大陸會(huì)議中著名的活躍分子。他支持會(huì)議提出的各項(xiàng)革命法令，協(xié)調(diào)各地積極支援獨(dú)立戰(zhàn)爭(zhēng)，贊同大陸會(huì)議派代表爭(zhēng)取歐洲各國(guó)對(duì)美國(guó)革命事業(yè)的支持。由于他十分精通外交事務(wù)，當(dāng)時(shí)的主要領(lǐng)導(dǎo)人經(jīng)常就一些重大的國(guó)際問題向他咨詢。駐會(huì)期間，倫道夫結(jié)識(shí)了一大批當(dāng)時(shí)的政壇精英，為今后在政治上繼續(xù)發(fā)展奠定了雄厚的基礎(chǔ)。

1786年，倫道夫代表弗吉尼亞出席了安納波利斯會(huì)議。此會(huì)議名為討論州際貿(mào)易問題，但其主旨卻在于修改《邦聯(lián)條例》，在亞歷山大·漢密爾頓和詹姆斯·麥迪遜的積極游說下，會(huì)議決定再召開一個(gè)關(guān)于制憲的諸州會(huì)議。倫道夫?qū)@一行動(dòng)表示支持。

同年，倫道夫被選為弗吉尼亞州州長(zhǎng)，為處理州務(wù)而日夜操勞。他行事穩(wěn)健，善于協(xié)調(diào)各種利益和矛盾，因此任州長(zhǎng)期間未發(fā)生什么大的風(fēng)波。其時(shí)，制憲運(yùn)動(dòng)正在各地蓬勃發(fā)展，倫道夫是弗吉尼亞制憲運(yùn)動(dòng)的積極推動(dòng)者。當(dāng)?shù)弥獑讨巍とA盛頓對(duì)是否參加制憲會(huì)議抱猶豫態(tài)度時(shí)，倫道夫與麥迪遜共同前去做工作。3月28日，華盛頓寫信給倫道夫，表示接受他的建議。后來，華盛頓在制憲會(huì)議上發(fā)揮了不可替代的作用，倫道夫?qū)Υ斯Σ豢蓻]。

在著名的1787年制憲會(huì)議上，倫道夫作出了較大的貢獻(xiàn)。5月29日，他向會(huì)議宣讀了 弗吉尼亞方案 ，成為會(huì)議討論的基礎(chǔ)。其主要內(nèi)容是：設(shè)立兩院制議會(huì)，議員按人口比例向各州分配名額，聯(lián)邦行政部門由議會(huì)選出等。該方案雖然代表了大州的利益，但包含了不少真知灼見，對(duì)《聯(lián)邦憲法》的制定工作產(chǎn)生了巨大影響。在隨后開展的批準(zhǔn)新憲法的運(yùn)動(dòng)中，他與杰斐遜的觀點(diǎn)同出一轍，要求對(duì)憲法的內(nèi)容加以充實(shí)完善，即把一些基本的民主權(quán)利列入憲法。此后，倫道夫積極參與了這場(chǎng)運(yùn)動(dòng)。

父親病故后，倫道夫繼承了一筆相當(dāng)可觀的家族遺產(chǎn)（包括田產(chǎn)和奴隸），但同時(shí)，父親也給他留下了一筆不小的債務(wù)。為了還上這筆債務(wù)，他花費(fèi)了很多年的時(shí)間，但由于他十分珍視祖上傳下來的產(chǎn)業(yè)，因此拒絕了讓他出賣遺產(chǎn)的所有建議。

議員、司法部長(zhǎng)倫道夫是律師出身，因此對(duì)法制建設(shè)十分關(guān)注，主張建立一個(gè)民主和法治的共和國(guó)。當(dāng)他發(fā)現(xiàn)州長(zhǎng)是個(gè) 忙碌而平庸 的職位，不能真正實(shí)現(xiàn)他的主張時(shí)，便辭去這一職務(wù)，通過激烈的競(jìng)選進(jìn)入了州議會(huì)，以期在立法工作中實(shí)現(xiàn)他的政治理想。他的這一舉動(dòng)令當(dāng)時(shí)的許多政界人士感到意外。

但倫道夫在弗吉尼亞議會(huì)工作的時(shí)間并不長(zhǎng)，由于他在法律事務(wù)上表現(xiàn)出的熱情和才華，加上與總統(tǒng)的私人關(guān)系，1789年9月被任命為聯(lián)邦司法部長(zhǎng)。作為第一任司法部長(zhǎng)，他在美國(guó)的法制建設(shè)方面做了大量奠基性的工作。例如，他主持了創(chuàng)建美國(guó)司法制度的工作，努力通過立法途徑保護(hù)各項(xiàng)自由權(quán)利，幫助總統(tǒng)起草了許多重要文件，他還與一些政治家一起抵制國(guó)家銀行。

國(guó)務(wù)卿1793年12月31日，托馬斯·杰斐遜由于厭惡漢密爾頓的政治專橫而辭職，華盛頓斟酌再三，將國(guó)務(wù)卿的重任委托給倫道夫。此時(shí)，美國(guó)政壇上黨爭(zhēng)驟起，倫道夫雖然觀點(diǎn)與杰斐遜相近，但試圖左右逢源，結(jié)果卻遭到了兩派的詆毀和詰難，在夾縫中處境尷尬，任職期間政績(jī)平平。