1794年，美英关系出现严重危机。联邦党人不愿看到美英走向战争，遂说服华盛顿派遣约翰·杰伊赴伦敦谈判。伦道夫赞同谈判，但他认为必须在使团的使命中加入关于争取俄国、瑞典和丹麦执行武装中立原则的内容。这一要求被接受。1794年11月美国与英国签订了《杰伊条约》。根据条约英国做了让步：在1796年7月前交出所占据的美国西北边境要塞，允许美国小型船只对英属西印度群岛进行贸易。条约使美国赢得了宝贵的和平，但付出的代价也是巨大的：美国船只不得载运英属西印度的主要产品，尽快处理偿还战前美国人欠英国人的债务问题，给英国最惠国待遇，没有解决英海军强征美国海员等问题。因此许多人认为它损害了国家的利益。

《杰伊条约》在国内引起了极其剧烈的斗争，许多人认为它损害了美国的国家利益，损害了革命时期奠定的美法友谊，是对英国国王的可耻的屈服。一些学者认为，这场争论很难说是一场原则之争，更多地与人们的不同利益和对事情的不同认识有关，并掺杂着意气用事和强烈的党派精神。在一片激烈的反对声中，伦道夫劝华盛顿总统暂缓签署它。起初，华盛顿接受了这一主张，但事情后来发生了逆转。

1795年3月，英海军截获了法国驻美公使富歇的一封公文，公文中说伦道夫与富歇之间有一笔金钱交易，而伦道夫接受的金钱则被用于国内的党争。这个显然被人篡改过的公文辗转传到华盛顿手中，华盛顿据此断定伦道夫领取了法国的佣金，由此而耽搁了《杰伊条约》的签署。在与华盛顿的对质中，伦道夫竭力进行辩护，但无济于事。从目前掌握的材料来看，判定伦道夫有罪证据不足，但由于伦道夫进入内阁主要是基于华盛顿的友谊，如今这种关系破裂了，他不得不辞去国务卿职务。也有历史学家认为，这一事件是联邦党人与英国人玩弄的一场政治阴谋。

后来，伦道夫在纽波特找到富歇，富歇发表了一个公开声明，否认伦道夫与他有交易，也否认自己在那份公文中有意败坏伦道夫。而后，伦道夫写了一篇辩护文章，以澄清事实。为了撰写这份文件，他几次写信，要求华盛顿为他提供必要的材料，华盛顿均给以简要答复——看来，两人在革命时期结下的战斗友谊已经化为乌有。面对华盛顿的冷漠，伦道夫感到无奈而愤怒。

离开公职后，伦道夫心灰意冷，回到家乡弗吉尼亚与儿孙们生活在一起。他一面著书立说，一面重操律师业务，在极度失意之中度其余生。在晚年所写的著作中，伦道夫全面阐述了他的政治理想和治国方略，也有一部分内容是对美国革命和建国的历史回顾，书中表达了他对政坛失意的愤愤不平。

1813年9月13日，埃德蒙·伦道夫病逝，享年六十岁。