在內(nèi)戰(zhàn)中受傷復(fù)員后，弗蘭克進(jìn)入一家商業(yè)學(xué)校學(xué)習(xí)，然后像約翰和威廉那樣找了一份簿記員的工作。不過，他沒有像哥哥們那樣由此發(fā)達(dá)起來。弗蘭克一心想超過兩位兄長，在1870年迎娶美貌高挑的海倫·E·斯科菲爾德之后也進(jìn)人煉油業(yè)，成為標(biāo)準(zhǔn)石油公司的競(jìng)爭(zhēng)對(duì)手。斯科菲爾德家族是在克利夫蘭定居較早的家族之一，海倫的父親戚廉·斯科菲爾德是亞歷山大－斯科菲爾德公司的合伙人。這家煉油企業(yè)在1872年被約翰購并。弗蘭克居然娶了競(jìng)爭(zhēng)對(duì)手的女兒，約翰只能把這件事視為弟弟對(duì)自己的挑戰(zhàn)。

兄弟兩人在1876年徹底反目。弗蘭克在一個(gè)議會(huì)委員會(huì)調(diào)查南方發(fā)展公司時(shí)出庭作證，聲稱約翰在并購亞歷山大一斯科菲爾德公司時(shí)使用高壓手段。弗蘭克知道報(bào)界想要得到什么，便透露一段約翰說過的威脅性話語：“我們已經(jīng)與鐵路公司聯(lián)盟。我們要把克利夫蘭所有的煉油廠統(tǒng)統(tǒng)買下來！我們會(huì)給每個(gè)人一個(gè)入伙的機(jī)會(huì)，當(dāng)然也會(huì)給你們機(jī)會(huì)。膽敢拒絕合作的人一定會(huì)倒霉！即使你們不賣廠子，它也會(huì)變得一文不值！”弗蘭克還聲稱別的公司也受到同樣的威脅：“在克利夫蘭大約有20家企業(yè)都是在威脅下轉(zhuǎn)手的，那兒人都會(huì)告訴你們同樣的故事?！笔聦?shí)上，每次發(fā)生公開沖突之后，弗蘭克總是找到約翰，說上一大堆道歉的話：“約翰，能原諒我嗎？我是個(gè)笨蛋?！边@樣悔過的一個(gè)原因可能是他一直欠著兄長的錢。

兩兄弟的謀求和解的努力屢屢以失敗告終。1872年，弗蘭克不得不退出石油業(yè)。他把自己持有的亞歷山大一斯科菲爾德公司股份變現(xiàn)，然后買下伊利湖上的一支船隊(duì)。為了表示和解，約翰給了他一份標(biāo)準(zhǔn)石油公司的貨運(yùn)合同。弗蘭克沒有好好珍惜這個(gè)機(jī)會(huì)。有一次，標(biāo)準(zhǔn)石油公司突然急需大量船只，弗蘭克此時(shí)恰好外出打獵，而他的船隊(duì)由于管理不善而無法承擔(dān)此項(xiàng)任務(wù)。弗蘭克回到克利夫蘭后受到約翰的責(zé)備：“弗蘭克，再也不許發(fā)生這種事情！如果你還想好好做生意，咱們就接著干；如果不想這樣，我們就找別人！”弗蘭克忍不住吵了起來后，約翰說道：“算一算你在花在船隊(duì)的錢，給我說個(gè)數(shù)吧！”第二天，約翰買下弗蘭克在船隊(duì)的全部股份。弗蘭克以后經(jīng)常在證券和期貨市場(chǎng)做投機(jī)生意，同生性謹(jǐn)慎的兄長愈加疏遠(yuǎn)了。

讓兩兄弟關(guān)系愈加惡化的是，約翰非常憎惡弗蘭克的岳父威廉?斯科菲爾德。據(jù)說有一次約翰對(duì)山姆?安德魯斯說：“那邊，山姆，那就是斯科菲爾德。我遲早會(huì)收拾他，你就看著吧！”這是克利夫蘭煉油商J·W?福賽特告訴艾達(dá)?塔貝爾的，也許純屬謠言，因?yàn)槁蹇朔评諒牟挥眠@種惡狠狠的口氣，但他與斯科菲爾德的積怨非常深。標(biāo)準(zhǔn)石油公司買下亞歷山大一斯科菲爾德公司時(shí)，這家公司的所有合伙人都發(fā)誓不再進(jìn)入煉油業(yè)。然而，在僅僅1年之后，斯科菲爾德就成立一家名叫斯科菲爾德－舒默－蒂格爾公司的煉油企業(yè)，這在約翰看來是背信棄義的惡劣行徑。“完全是一群強(qiáng)盜，”約翰后來說，“這樣叫他們絲毫不過分?！比棠?年之后，約翰在1876年與這個(gè)死敵達(dá)成秘密交易：他出資1萬美元，雙方聯(lián)合組建斯科菲爾德－舒默公司。他為該公司購買原油，銷售它出產(chǎn)的成品油，并使它享有鐵路運(yùn)費(fèi)折扣，條件是公司接受石油提煉配額。為完成這筆交易，洛克菲勒與這幾個(gè)秘密合作者商定使用一個(gè)特別郵政信箱傳遞消息。艾達(dá)?塔貝爾就此評(píng)論道：“事實(shí)上，走私犯或盜賊也沒法子使自己的行動(dòng)比他們更隱秘！”如果洛克菲勒自以為收服了對(duì)手，就大錯(cuò)特錯(cuò)了。斯科菲爾德一舒默公司的成品油產(chǎn)量遠(yuǎn)遠(yuǎn)超過配額，標(biāo)準(zhǔn)石油公司不得不到法庭起訴它。1880年，一位克利夫蘭法官裁定標(biāo)準(zhǔn)石油公司敗訴，因?yàn)樗鼘?duì)競(jìng)爭(zhēng)對(duì)手產(chǎn)量的限制實(shí)際上是在限制貿(mào)易。這次的判決在當(dāng)時(shí)的影響很大，但洛克菲勒在后來依舊用同樣的手段對(duì)付競(jìng)爭(zhēng)對(duì)手。

1878年，弗蘭克與C·W·斯科非爾德和J·W?福賽特合作在克利夫蘭成立一家名為先鋒石油公司的煉油企業(yè)。受到冒犯的約翰在此時(shí)決意并購弗蘭克的公司。他通過居中傳話的威廉告訴弗蘭克，標(biāo)準(zhǔn)石油公司能夠以比他的企業(yè)低一半的成本提煉石油。約翰的威嚇最初似乎起到發(fā)作用。弗蘭克在1879年春與俄亥俄州瑪麗埃塔的幾位獨(dú)立煉油商進(jìn)行接洽，而這幾個(gè)人曾經(jīng)聲稱標(biāo)準(zhǔn)石油公司與鐵路公司串通一氣，試圖把它告上法庭。下屬向約翰匯報(bào)，弗蘭克就躲在一個(gè)街區(qū)之外的一家雜貨店里，正與他人試圖用法院傳票強(qiáng)行截住標(biāo)準(zhǔn)石油公司的管理人員。這使約翰感到極為憤怒。隨著時(shí)日的累積，兩兄弟之間的關(guān)系正在變得愈來愈糟糕。