瓦爾堡從少年時(shí)代開(kāi)始收集圖書(shū)，1909年把藏書(shū)遷移到漢堡海爾維希大街的新住宅。這完全是私人的書(shū)齋，其組織編排遵照獨(dú)特的個(gè)人癖好。在18世紀(jì)末和19世紀(jì)初年，如何組織一個(gè)最好的圖書(shū)館，在德國(guó)有著激烈的爭(zhēng)論。一派主張按題材的等級(jí)次序編目，以便引導(dǎo)讀者從一個(gè)知識(shí)領(lǐng)域過(guò)渡到另一個(gè)領(lǐng)域。另一派主張按照書(shū)卷的大小和獲得的日期來(lái)安排次序。（后者也是中世紀(jì)某些圖書(shū)館成功使用過(guò)的系統(tǒng)。）瓦爾堡對(duì)兩派的方法都不滿(mǎn)意，他要求自己的收藏有一種流動(dòng)性與靈活性，既不受題材拘束，也不受時(shí)間先后的限制。薩克斯?fàn)栐?943年談到瓦爾堡怎樣回應(yīng)當(dāng)時(shí)的情勢(shì)：在書(shū)籍生產(chǎn)大量增加的時(shí)代，機(jī)械式的編類(lèi)方法正在迅速代替“學(xué)者憑細(xì)致閱讀得到的熟悉感覺(jué)”，瓦爾堡認(rèn)識(shí)到這種危險(xiǎn)，提出“好鄰居規(guī)律”。在很多情況下，某人最熟悉的書(shū)并不是他需要的書(shū)，而書(shū)架上某個(gè)不相識(shí)的鄰居都包含著極重要的信息，盡管從書(shū)名上往往看不出來(lái)。“關(guān)鍵的想法是所有的書(shū)要聚在一起，每一本都包含或多或少的信息，鄰居之間互相補(bǔ)充，這樣，讀者就可以憑這些書(shū)名領(lǐng)會(huì)人類(lèi)思想史的巨大力量。瓦爾堡認(rèn)為書(shū)籍不僅是研究問(wèn)題的工具，集合在一起的書(shū)籍還表現(xiàn)人類(lèi)思想的常態(tài)及其不斷變化的各個(gè)方面。”

不光是對(duì)書(shū)，瓦爾堡對(duì)形象也有強(qiáng)烈的記憶，能將各種圖像互相聯(lián)系，織成美麗的錦綢，用片斷短文寫(xiě)出他的看法。他在研究古代藝術(shù)品目錄的時(shí)候，常把感興趣的題目寫(xiě)在卡片上，然后用密密麻麻的文字發(fā)自己的評(píng)論，并把這些文字稱(chēng)為“稠鰻魚(yú)糊文體”。他把卡片按照一種復(fù)雜多變的系統(tǒng)分裝在小盒子里。了解瓦爾堡的人都說(shuō)，他有一種“本能在引導(dǎo)他編寫(xiě)某些感興趣的題目的圖書(shū)目錄，還使他不斷重新安排書(shū)架上的圖書(shū)，以服從他在特定時(shí)期的思路。瓦爾堡認(rèn)為，圖書(shū)館首先是一串聯(lián)想的集結(jié)：一個(gè)聯(lián)想產(chǎn)生另一個(gè)新的聯(lián)想或一段文字，如此發(fā)展下去，最后讓讀者又回到最初的一頁(yè)。在他看來(lái)，每個(gè)圖書(shū)館都是連環(huán)狀的。

瓦爾堡書(shū)齋的閱覽室為橢圓形，他稱(chēng)之為“瓦爾堡文化科學(xué)圖書(shū)室（die kulturwissenschaftliche Bibliothek Warburg）。他把這個(gè)圖書(shū)室貢獻(xiàn)給希臘記憶女神摩涅莫緒涅（Mnemosyne），即繆斯女神的母親。瓦爾堡認(rèn)為人類(lèi)歷史是一種不斷變化的努力，要用語(yǔ)言和形象來(lái)表達(dá)古老的經(jīng)驗(yàn)——與其說(shuō)是個(gè)體的經(jīng)驗(yàn)，還不如說(shuō)是銘刻在社會(huì)記憶中人類(lèi)整體經(jīng)驗(yàn)。瓦爾堡和他的同代學(xué)者一樣，深受德國(guó)神經(jīng)生理學(xué)家塞蒙（Richard Semon）理論的影響，這種理論為人類(lèi)的情緒提出了生理學(xué)的解釋。塞蒙認(rèn)為記憶是區(qū)別生命體與死物的特質(zhì)。任何影響生命體的事件都會(huì)留下痕跡，能夠憑記憶來(lái)加以模仿，塞蒙稱(chēng)之為‘記憶印跡’（engram）。瓦爾堡把這種‘記憶印跡’當(dāng)作每種文化核心內(nèi)活生生的純粹象征。他感興趣的是為什么某個(gè)時(shí)代（如文藝復(fù)興時(shí)代，啟蒙時(shí)代）會(huì)受到這些象征（或其某些方面）的巨大影響，形成了文學(xué)藝術(shù)的獨(dú)特音調(diào)與風(fēng)格。由于這種記憶的強(qiáng)大力量，瓦爾堡把它描述為“成人的鬼故事”。