當(dāng)雅各布把阿瑪莉帶回弗賴貝格時，他和薩莉生的長子伊曼紐爾已經(jīng)結(jié)婚。薩莉的另一個兒子菲利普當(dāng)時19歲，同弗洛伊德一家住在一起，他先是做了西格蒙德的哥哥，后來又是阿瑪莉的第二個兒子尤里烏斯的哥哥，但尤里烏斯不幸在六個月時夭折，最后他成了安娜的哥哥，安娜是尤里烏斯死后八個月出生的。西格蒙德在3歲前怎么也搞不清自己與菲利普的關(guān)系，因為他幾乎和阿瑪莉一樣大。有時候他以為菲利普是自己的父親，雅各布是自己的爺爺。更使他糊涂的是他與約翰以及保莉妮的關(guān)系；約翰是伊曼紐爾的兒子，比他大整整一歲；保莉妮是伊曼紐爾的女兒，和他同年。這些問題后來都消失了，因為阿瑪莉和雅各布帶著西格蒙德和安娜搬到了萊比錫。在那里過了一年不太順利的日子后，他們一家又移居到了維也納。伊曼紐爾帶著家眷和弟弟菲利普搬到了曼徹斯特，在那里干起了紡織業(yè)。西格蒙德直到19歲時才又在英國見到了自己同父異母的兩個哥哥和侄兒侄女，當(dāng)時他順利通過了畢業(yè)考試并被維也納大學(xué)錄取了。雅各布曾答應(yīng)送兒子去英國過暑假，當(dāng)時手頭正好又較寬裕，就讓兒子如愿以償了。

雅各布第二次結(jié)婚后，運氣越來越壞。以維也納為起點新建的北方鐵路竟然不通到弗賴貝格；通貨膨脹和19世紀(jì)50年代的蕭條也使他和其他許多未加提防的人遭了殃。他無法償付簽訂的大量合同所造成的債務(wù)。他丟掉了自己的買賣，帶著4歲的兒子和1歲半的女兒來到了維也納。在這里，他遇到的是資歷雄厚、地位牢固的商行，而缺少資金的他根本沒辦法與之競爭。西格蒙德上初級人文中學(xué)時，雅各布·弗洛伊德在他的登記表的“父親職業(yè)”一欄里填的是“羊毛商”，但不幸的是，雅各布事實上再也沒有當(dāng)過羊毛商人。他再也沒有領(lǐng)過營業(yè)執(zhí)照，也沒再納過稅，而是在羊毛和紡織行業(yè)里當(dāng)雇員，干過許多不同的工作。當(dāng)雅各布找到一個好工作時，他為安娜買了一架鋼琴，為飯廳的餐桌添置了一盞可以用鏈條調(diào)節(jié)高低的汽油燈，還給全家人買了新衣服，照了相，多給了些錢讓西格蒙德在多伊迪克書店買書。工作收入少得可憐或是雅各布被辭退的情況正變得越來越頻繁，每當(dāng)這種情況發(fā)生時，弗洛伊德一家就沒錢開支了，阿瑪莉常常會發(fā)愁地說：

“沒什么可花的了?！?/p>

然而直到最近，雅各布·弗洛伊德一家還是想方設(shè)法保住了中等生活水平，教師、政府官員、音樂家等都屬于這個社會階層。他們的月收入從300~500盾不等，相當(dāng)于120~200美元。這是中等收入——不多但是夠用。

這里面有一個原因只有西格蒙德一個人知道，那是他在伊曼紐爾和菲利普那里度夏時了解到的。他們在曼徹斯特已經(jīng)靠做羊毛生意發(fā)達(dá)起來了。在伊曼紐爾家里，他聽到過兩個哥哥談?wù)撍_莉，說她是一個精明的商人。雖說在弗洛伊德家境況太糟時，他們有時不得不寄錢接濟，但他們沒有講阿瑪莉一句壞話。唯一還存在的問題不過是，要是薩莉還活著，她是不會允許雅各布一下子簽?zāi)敲炊嗪贤摹?/p>

“不過話又說回來，”西格蒙德微笑地看著父親暗自想道，“要是薩莉1855年的時候還在世，父親就不會和母親結(jié)婚。我，如今的西格蒙德·弗洛伊德博士，也就不可能在這個溫暖的六月夜晚站在約瑟夫大帝街的家中，等待我心愛的姑娘了。”