在诺夫哥罗德最后的日子里，按照他的说法，他的心绪十分躁乱。“正在这时，我发现我的使女生得非常漂亮……她也猜到了我的心思！……一切本可以到此为止，机会却使我欲罢不能。这种机会随时都存在的，特别是当我们不想避免的时候。”（《往事与随想》第二卷，P99）

1842年，赫尔岑一家重新迁回莫斯科。一天深夜,他从外面回来,使女卡捷林娜给他开门。“她看起来刚刚离开床铺，两颊红彤彤的还没有苏醒”，陶醉于她的妩媚，赫尔岑“本能地、半意识地把手伸到她的肩上，围巾掉下了……她啊了一声……她的胸脯裸露了”。这个清晨，卡捷林娜让赫尔岑体会到“当一个人忘记了一切，沉浸和陶醉在自然中的时候，那是多么美好啊……”（《往事与随想》第二卷，P100）

挚爱着赫尔岑并把他视为偶像的妻子纳塔利娅,对丈夫的事情有所风闻并产生了怀疑。纳塔利娅情绪十分低落，这令赫尔岑愧疚不安，他决定向妻子供认事情的全部。他体会到妻子的痛苦，因为这样的事情“就发生在离她几步远的地方。而情敌又是谁？她是牺牲在谁的手中？在这样一个女人手中，这个女人可以倒进任何一个男人的怀抱……”同时，赫尔岑还为自己开脱：“如果这个女人不是轻佻的女人，那么什么事情也不致发生。”

为了对得起妻子的忠诚,而向妻子忏悔,这是可以理解的,也是值得肯定的；但因此对因为社会制度的缘故屈身于自己尊严之下的另一个女人加以糟践，说她是可以倒进任何一个男人的怀抱的女人，甚至把自己道德堕落的责任推诿于这个无辜的弱者，却不是一个正人君子的行止。显然，赫尔岑根本不把曾经给他带来过幸福的女人当人，不把她当作与自己的妻子一样的女人来对待。他妻子的痛苦的意义远远超出了卡捷林娜，后者的痛苦是天经地义的活该，完全可以忽略不计。或者说，对于他而言，这个世界不存在卡捷林娜会痛苦这样的事情。可见，控制赫尔岑公爵精神的仍然是奴隶制的意识形态。我们不得不问，他所倡导的神圣的价值观，到底与卡捷林娜这样阶层的人有多少关系？而且，我们只能这样认为，他的人道主义中的人的概念，不涵盖卡捷林娜这样地位低贱的人。在赫尔岑那里，作为奴仆和农民的人的身份还没有得到认可，人格的尊严也没有树立起来。在当时的俄国，像卡捷林娜这样的人占大多数，如果将她们排除在人的概念外延之外，人道主义还能够称为人道主义吗？如果对农奴生命没有起码的尊重，对奴隶制的愤怒和反抗就显得抽象和难以理喻了。

显然,赫尔岑在批判社会的同时,未能对自己的立场和动机加以反省。从《往事与随想》所叙述的情况看，赫尔岑生活的时代，俄国人对沙皇的统治已经产生普遍的不满，“十二月党人”事件也产生广泛的影响。老百姓“大多站在受害者一边。到了西伯利亚边境，‘流放犯’一词消失了，换了‘不幸者’的名称。在俄国人民眼中，法庭的判决无损于一个人的声誉。从彼尔姆省到博尔斯克，一路上都有农民把格瓦斯、牛奶、面包放在小窗，万一‘不幸者’从西伯利亚秘密逃亡，随时可以取食”（《往事与随想》第一卷，P266）。在这种状况下，做一个不同政见者尽管会受到当权者的迫害，却能够赢得社会的尊重和道义乃至物质上的支持，因此有一种光荣感——这是俄罗斯民族最为珍重的人生价值。在国内时期，赫尔岑其实并没有多少出格的表现，他的第一次流放，是因为参加学习小组，对圣西门的空想社会主义发生了浓厚的兴趣；第二次流放却是因为无关大雅的批评警察机关，罪名多少有点子虚乌有。他与集权专制制度的正面交恶，是在他流亡欧洲，置身于沙皇权力范围之外的安全堡垒里时才开始的。这时候，批判在带来荣誉的同时，却不随之带来危险或其他副作用，不管这种批判是多么激烈。事实上，这种对沙俄体制的激烈抨击，已经成为他本人在欧洲社会存在的合法性的基础。