早在独立战争期间，老亚当斯经谈判向荷兰贷了一笔数目相当大的贷款，以支持独立战争和美国的信用。小亚当斯的使命是维护美荷之间的友好关系，观察欧洲的政局变化，并帮助美国政府逐步偿清贷款。但此时欧洲的局势急剧动荡，在他到达荷兰时，这里已处在拿破仑军队的占领下。第二年，他在出使葡萄牙的途中得到急电，父亲已就任总统，任命他为驻普鲁士公使。

年轻时的小亚当斯精力充沛，感情细腻，爱情生活充满浪漫情调。他的初恋是在法国经历的，他首次看到一位女演员的演出就成了她的崇拜者，但由于天生的虚荣心作怪，他始终未能当面向她表达爱意。多少年来，她一直是他心目中最完美的形象。在婚前所接触的女性中，他与玛丽·弗雷泽之间的爱情最浪漫深沉。相恋时他们都在二十岁上下，相互难分难舍。但母亲告诉他：过早的恋情会断送一个有才华的年轻人的远大前程。理智终于拆散了这对情侣。

出使欧洲时，小亚当斯在伦敦巧遇了他的童年好友路易莎·凯瑟琳·约翰逊，遂约定了终身。路易莎时年二十二岁，身材窈窕，气质高雅，她的父亲是美国的一位外交官兼商人，母亲是一个地地道道的英国人，而她本人也出生于英国。老亚当斯起初反对儿子与外国人结婚，但很快就转变了态度，赞成这一婚事，所以路易莎成了美国历史上唯一一位出生于外国的第一夫人。二人感情甚笃，婚后生活可谓幸福美满。这一婚姻并非没有经历考验，路易莎长期患病，跟不上丈夫快节奏的生活步伐，生活方式也有很大差异，因此常郁郁寡欢，极为敏感，甚至有时产生幻觉，感到周围的人在虐待她。但他们最终超越了这些障碍，恩恩爱爱生活了五十多年，养育了四个孩子。其中小儿子查尔斯·弗朗西斯·亚当斯是他们的骄傲，后来成为著名的废奴战士和外交家，内战时期被林肯总统任命为驻英公使，在使英国对美国内战保持中立立场上发挥了重要的作用。

小亚当斯出使普鲁士四年，其间，他的政治和外交能力有了很大提高，工作成绩也十分卓著，以致美国政府常常是根据他提供的情报来制定对外政策的。

1799年，他与普鲁士签署了《普鲁士-美国条约》，促进了双方的贸易往来。

1801年，小亚当斯离任回国。这时，父亲已经卸任，小亚当斯未能再获得外交官职位，回波士顿重执律师业。

1802年，他被选入马萨诸塞州参议院。这一时期，他成了国内政坛上最活跃的青年政治家之一，政治声望不断上升。

1803年，小亚当斯在联邦党人的支持下当选国会参议员，但他坚持按照自己的原则独立行事，而不肯听任该党党魁的操纵。他支持杰斐逊总统的重大决策，赞成路易斯安纳购地和禁运（小亚当斯之所以赞同购买路易斯安纳是从国际政治的角度考虑问题的，他认为此举将使法国在北美的势力受到最沉重的打击），这些举动使他大大超越了党派的界线，触怒了某些党内强人。于是，联邦党领导人着手策划把他排挤出参议院。对于同党们的阴谋小亚当斯早有预料，他于1808年6月毅然辞职，告别政坛，进入哈佛大学任教，充分展示他在语法修辞和语言学方面的才华。