在這種情況下，作為批判者并代表著正義的赫爾岑本人，也自然而然地和批判的對(duì)象劃清界限，把自己置于被批判的范圍之外，成功地逃離了自己火器殺傷的扇面。

刺痛那些對(duì)赫爾岑抱有敬意的人們心的，還有他在流放地維亞特卡的一樁風(fēng)流韻事。在彼爾姆還沒(méi)有真正待下來(lái)，赫爾岑就與另一個(gè)流放者對(duì)調(diào)到了維亞特卡。在那里，他與一個(gè)從外地遷來(lái)的不幸女子相遇，而這種相遇對(duì)于這名女子，更是不幸中的不幸。年僅二十六歲，不知什么原因嫁給五十多歲老人的梅德韋杰娃，會(huì)彈一手鋼琴，容貌十分惹人喜愛(ài)。赫爾岑與她暗送秋波，常有紙條往來(lái)。在她丈夫病重的時(shí)候，赫爾岑更是殷勤備至，頻頻向她示愛(ài)，在老人的呻吟和咳嗽聲中把他的妻子“緊緊地、緊緊地?fù)г谛厍啊?。盡管她一再提出，“我滿足了你的要求，現(xiàn)在放我走吧”，他還是不甘罷休。然而，就在他們的纏綿持續(xù)了一個(gè)月后，當(dāng)梅德韋杰娃可憐的丈夫一命歸天后，身世飄零、孤獨(dú)無(wú)依的她滿懷渴望地期待赫爾岑關(guān)懷的時(shí)候，公爵大人卻撤回了自己的懷抱。他解釋說(shuō)“我不是對(duì)她漠不關(guān)心，絕不是”，因?yàn)樗男淖兊谩捌＞牒退ヮj了”，“我的愛(ài)情之火熄滅了”。盡管她“目光常常帶著不安的探詢神情，停留在我的身上”，期待著他的回應(yīng)，但他還是一直在回避，并保持著可怕的沉默。

被赫爾岑描繪成惡魔的省長(zhǎng)秋法耶夫，對(duì)梅德韋杰娃的姿色早就垂涎三尺，看她現(xiàn)在孤兒寡母無(wú)依無(wú)靠，以為機(jī)會(huì)來(lái)了，便向她伸出無(wú)恥的魔爪。梅氏在這種情況下十分無(wú)助，因?yàn)椤八暮⒆觽兊拿\(yùn)握在他手中”。實(shí)際上，迫害已經(jīng)開(kāi)始，孩子們的補(bǔ)助申請(qǐng)被斷然拒絕，房東和店鋪掌柜討賬也“特別堅(jiān)決”，俄羅斯的遼闊并沒(méi)有給她任何出路。情急之下她向赫爾岑和另一個(gè)流放者訴說(shuō)了自己險(xiǎn)惡的處境。赫爾岑依舊沒(méi)有任何幫助的表示，他依然保持著金塊一樣沉重的沉默，倒是與他分住同一幢房子、與梅沒(méi)有任何情緣的維特貝格決定冒一切風(fēng)險(xiǎn)搭救她，毫不猶豫地讓她搬到自己家來(lái)住，盡管這位流放者家庭負(fù)擔(dān)很重，生活比赫爾岑不知要困難多少倍。但赫爾岑寧愿讓自己相信，梅在他那里可以安然無(wú)事，因?yàn)椤斑@個(gè)流放者的道德力量就是這樣，他那不屈不撓的意志，那崇高的精神面貌，那無(wú)所畏懼的語(yǔ)言，那蔑視一切的笑，連維亞特卡的舍米亞卡（古代俄羅斯一個(gè)殘酷的王公）本人也不能不有所顧忌”（《往事與隨想》第一卷，P368）。此時(shí)，同住在一個(gè)屋頂下的赫爾岑只是暗暗地問(wèn)自己：“為什么她偏偏遇上我這個(gè)意志薄弱的人？”他開(kāi)始喝酒，并在污濁沉悶的炎熱中等待清新的氣流——納塔利婭（赫爾岑的堂妹兼未婚妻）從莫斯科發(fā)出的信。

盡管赫爾岑后來(lái)承認(rèn)，梅德韋杰娃“沒(méi)有歡樂(lè)的一生是我最后摧毀的”；盡管經(jīng)過(guò)漫長(zhǎng)的回避、沉默和自我開(kāi)脫之后，在結(jié)束維亞特卡的流放之前，赫爾岑最終熬不過(guò)自己的良心，寫(xiě)信向梅做了懺悔，并取得了這個(gè)善良女人的原諒與祝福（仿佛有罪的是她）。但對(duì)梅的回憶一直都使他感到痛苦，特別是若干年之后，當(dāng)他聽(tīng)說(shuō)了梅凄涼早逝的時(shí)候。從這件事情來(lái)看，即便是對(duì)近似于自己社會(huì)地位的人而言，赫爾岑的人道主義原則也沒(méi)有得到實(shí)際的貫徹執(zhí)行。

1861年，列夫·托爾斯泰出游歐洲，他很早就想結(jié)識(shí)享有盛名的赫爾岑了。那天，他來(lái)到赫爾岑在倫敦的寓所，通報(bào)說(shuō)有一個(gè)俄國(guó)來(lái)訪者想拜見(jiàn)赫大人，赫爾岑拒絕會(huì)見(jiàn)。于是他不得不遞上自己伯爵的名片。樓上很快就傳來(lái)了急促的腳步聲，赫胖墩墩的身體幾乎是從樓上飛下來(lái)的。這讓托爾斯泰感到驚訝，在他的想象中，赫爾岑的身材應(yīng)該是非常偉岸的。