阿比·瓦爾堡生于1866年6月13日，是一位猶太銀行家的長子。在照片里，他身體矮小，表情羞怯，雙眼黑而有神。在一份自娛的問答表中，他把自己描寫為“一個矮小的留著黑色小胡子的先生，有時候用方言講故事”。他父親要求他信仰正宗猶太教，繼承銀行家業(yè)，他卻性格不合，難以從命，因此患上了焦慮和憂郁綜合癥。為了尋找解脫，他沉浸在書的世界中，對于希臘和羅馬的古代哲學，文藝復興時期的文化，美洲土著文明以及佛教都發(fā)生了濃厚興趣。他似乎無法接受任何單一學科或?qū)W派的約束。駁雜的好奇心成為他學問的特點。

他幼年便開始熱愛書本和圖畫，他還記得在六歲時就看到巴爾扎克《夫妻生活中的小煩惱》的絕妙插圖，其中描繪女人哭泣，男人發(fā)怒，小孩尖叫，仆人開心等家庭鬧劇場面，排演出中產(chǎn)階級婚姻生活的不幸。這些人物吸引著孩子，使他夢寐難忘。過了幾年，他又貪看“紅色印地安人故事”的書本。這些冒險故事和圖畫提供了“一條道路，使我從惱人的現(xiàn)實中逃出來，忘掉孤立無援的處境”。他無法表達自己的憤恨和失望（瓦爾堡稱之為“痛苦的情緒”），便努力尋找“一種宣泄，通過虛構(gòu)的殘酷幻想，來反抗真實的殘酷”。他的同胞弟妹回憶，當年他總是坐在書堆里，每張紙片都要讀上一遍，甚至家中的百科全書，也從第一卷讀到最后一卷。

不僅是讀書，收藏圖書也成為瓦爾堡的生活必需。十三歲生日那一天，他決心不追隨父親的事業(yè)和宗教信仰了，向弟弟馬克斯建議作一次交換，他讓出作為長子接管家族事業(yè)的特權(quán)，而馬克斯允諾為他購買他想要的所有書籍。十二歲的馬克斯表示同意。從那時起，忠實守信的馬克斯提供資金購買的大量圖書就成為瓦爾堡圖書館的核心。

瓦爾堡收集圖書的熱情從來就不是漫無目的的。相反，他讀書似乎很早就針對某些專門問題。我們多數(shù)人回想過去，會驚奇地發(fā)現(xiàn)我們最初閱讀中某些興趣的萌芽，直到很久以后才明顯成形，這些萌芽始終在激動著我們，我們卻無法用言語來表達。瓦爾堡幼年讀書的熱情后來在萊辛（Gotthold Ephraim Lessing）的名著《拉奧孔》中才找到了理論解釋。他第一次讀到這本經(jīng)典作品時已經(jīng)二十歲，正在波恩大學上學。萊辛的《拉奧孔》成為瓦爾堡的神奇“試金石”。在此六十年前，年老的歌德寫道：“只有年輕人才理解萊辛的《拉奧孔》對我們的影響。這部著作把我們從一種靜觀的境界拉出來，引進爽朗自由的思想境界。詩亦猶畫（ut pictura poesis）的說法多年以來被誤解，從此一掃而空。詩與畫的頂峰看起來是大不相同的，但是在根本上是非常接近的。”在萊辛的著作中，青年瓦爾堡不僅認識到探索形象與文字這兩個不同系統(tǒng)的強大論證力量，而且獲得了重要的觀念：每個時代都根據(jù)自己的需要重溫傳統(tǒng)的某一方面，藉以建立本身的象征與意義系統(tǒng)；瓦爾堡把這個現(xiàn)象稱為“古代遺留的殘跡，純粹歷史性的問題。”瓦爾堡思考中逐漸成形的問題就是：最古老的象征是怎樣在不同時代不斷更新的？這些不同的更新形象又是怎樣互相聯(lián)系，互相呼應的？他思想發(fā)展中最響亮的一個字眼就是Kompatibilitaet，“和諧共存”——通過聯(lián)想獲得經(jīng)驗。因此，他借用批評家赫林（Ewald Hering）的一個詞來形容自己的圖書館——“記憶”。瓦爾堡認為他的圖書館就有“有組織的記憶”。