在“五四”一代學者中，潘光旦對書的癡迷世所公認。

潘光旦幼小時家境殷實，其父潘鴻鼎曾為清末進士，思想開明，對子女身教多于言傳，因而兒時的潘光旦就耳濡目染了家族刻苦讀書、報效家國的好學家風。

潘光旦的母親在教育兒女時也非常嚴格，尤為注重讀書好學的家風傳承。有一年，潘家被迫舉家逃往上海，潘光旦的母親不帶金銀細軟，只身帶著三個兒子和四擔子書前往上海，在潘光旦母親的心中，潘家的子女什么都可以不要，但不能不要書。潘家對讀書的崇尚之風在兒時的潘光旦的心靈中打上了深深的烙印，潘光旦后來無論是求學，還是做學術(shù)研究，始終保持著對書的摯愛，甚至到了癡迷的程度，顯然是深受潘家好學家風的影響。

1913年，14歲的潘光旦遵父囑托，走進了清華學校。在清華讀書時，潘光旦極為刻苦，甚至在寒暑假期間都訂好讀書計劃，比如假期有多長時間，該看什么書等等，安排得井井有條，毫不懈怠。那時清華學校有“留美預備學校”之稱，英語教習是學校教學的核心，無形中對中文學習有所忽視。正因如此，潘光旦決定要在課余時間，特別是寒暑假時把中文學好。在清華學習的9年間，潘光旦除英語水平出類拔萃外，他還利用了兩年的暑假專攻中文書，為自己打下了深厚的中文功底。

潘光旦眼睛高度近視，又因用眼過度，適值壯年的他不幸患上了視網(wǎng)膜萎縮癥，眼睛經(jīng)常充血，有時甚至一連好幾天都無法看書。即便這樣，嗜書的潘光旦依舊癡性不改，眼疾稍有緩和，便又開始沉浸于書的世界。那時的潘光旦有一套五局本“二十四史”，他埋頭看書，因離書太近，以至于鼻子都被染黑，連他的小女兒都戲說：爸爸在舔書呢。在赴美留學期間，好學的潘光旦反復研讀隨身攜帶的一部《十三經(jīng)注疏》，幾近爛熟，無形中奠定了他貫通中西的學術(shù)基礎(chǔ)。北京淪陷敵手時，他滯留北平月余，在這段時間里，潘光旦有把500余冊古籍再度瀏覽一遍，并將有用的資料記存。晚年的潘光旦對書的嗜好依舊是癡心不改，一天之中，除去吃飯睡覺，其余的大部分時間都與書為伍。潘光旦嗜書好學如此，在與其同時代的學者中實屬罕見。

潘光旦對書的嗜好不僅在于“讀”，還在于“買”，在于“藏”上。潘光旦在美求學時曾看到一部《達爾文文集》，他愛不釋手，在學成歸國前，嗜書的潘光旦不顧囊中羞澀，幾近傾其所有，買了這部書。解放后，中國政府在處理中印邊界問題時，需要邊境史料，周恩來總理親自寫信給潘光旦，提出借用他收藏的《不列顛百科全書》（第11版），這段家國書緣一時間傳為佳話。潘光旦個人一生藏書達萬余冊，可謂坐擁書城，其中不乏像《達爾文文集》這樣的稀世珍品，但潘家人從不據(jù)為己有，后來這些藏書除他的女兒們各留一套以資紀念外，其余藏書全都捐給了中央民族大學圖書館。

正由于嗜書成性，涉獵廣博，才造就了潘光旦這樣的“通才”學者。潘光旦本是學自然科學出身，但卻能融匯中西，貫通自然、社會兩大科學體系。在性心理學、社會思想史、家庭制度、優(yōu)生學、人才學、民族歷史和教育思想等領(lǐng)域都造詣不凡，著有《中國家庭之問題》《優(yōu)生概論》《人文史觀》等論著多種，被人評為“學貫中西，融匯古今，打通文理”的一代鴻儒。