1809年，詹姆斯·麦迪逊出任总统，他没有忘记小亚当斯对共和党人的支持和为此付出的代价，立即派他出使俄国。这一重要任命重新激发了小亚当斯的政治热情和雄心，他立即带上妻子和小儿子匆匆踏上了旅途。小亚当斯是首位为俄国正式接纳的美国公使。此时，小亚当斯已经是一位成熟的政治家和外交官了，实际上，欧洲所发生的重大事件大都是由他传至华盛顿的，由于政府很重视他的意见，因此对政府制定外交政策产生了很大影响。他与沙皇亚历山大一世建立起了特殊的友谊，经常与沙皇聚会，聊天并充分利用这一关系为美国谋利。在他的游说下，俄国允许美国商船自由地利用俄国的港口，美俄贸易也得到了较快的发展。通过俄国，美国还改善了与北欧国家的关系。

1812年俄法战争爆发后，小亚当斯与俄国人共享遭受入侵和最后胜利的忧乐，并把这段曲折的历史写成精彩的报告，传回国内。此时，美国第二次独立战争爆发，他认为战争是一件不应该发生的事情，但或许是对美利坚民族的一次考验。

1813年，小亚当斯参与并领导了与英国进行的关于结束第二次独立战争的谈判。谈判进行得十分艰苦，一直持续到1814年圣诞前夕，双方才达成协议，签署《根特条约》，最终结束了战争。

1815年时他出公差到巴黎，正巧碰上了拿破仑从囚禁地厄尔巴岛凯旋回归，重建他的帝国。小亚当斯怀着惊叹和复杂的心情目睹了这一历史奇观。在出使俄国期间，他还被任命为美国最高法院法官，但没有赴职。

1815年，麦迪逊总统任命小亚当斯为驻英公使，他又回到了年轻时与父亲住过的伦敦。小亚当斯的使命是促进美英双方贸易的发展和关系的正常化，为此他付出了巨大的努力，与英国签订了几项重要的商务协定。

国务卿 1817年，门罗就任美国总统，鉴于小亚当斯丰富的外交经验，门罗任命他为美国国务卿。小亚当斯一直任职至门罗总统卸任，他的竭诚努力是门罗政府在外交上取得的一系列成果的保障。他继续执行其前任的欧洲政策，为美国在美洲领导地位的形成起了重要作用。他是一位更为强硬的民族主义者，主张把美国的领土扩张至整个北美洲，并使美国成为全世界受压迫者的避难所。

1818年，经过谈判，美国与英国就美国与加拿大沿海水域的渔业资源问题和双方的陆路边界问题达成了协议，该协议为美国争得了不少利益，并稳定了美加关系。

1818年，佛罗里达危机爆发，美国政府派强悍的安德鲁·杰克逊入侵该地区。杰克逊率军深入佛罗里达，摧毁了一些印第安人的村庄，处死了两名挑起事端的英国人，并驱逐了西班牙总督。消息传来，国内外舆论哗然，几乎所有的人都谴责杰克逊的行为越权。只有小亚当斯一人竭力为杰克逊辩护，在他的说服下，门罗总统也认为杰克逊的做法是正当的，但应归还佛罗里达。杰克逊的军事行为对西班牙人造成了巨大威慑，使他们认识到佛罗里达早晚会落入美国人之手。小亚当斯抓住这一契机，于1819年与西班牙签订了《亚当斯-奥尼斯条约》，美国以五百万美元的代价使西班牙将佛罗里达让与美国，西班牙从此不再参与争夺俄勒冈地区。该条约使美国的疆界贯通了北美大陆，小亚当斯从中起了关键作用，被誉为“美国最有才华和作为的国务卿”。小亚当斯也认为这是他最重要的一项历史功绩。