长期以来，美国商船经常遭到北非海盗的劫掠，损失惨重，美国政府不得不以赠款、赎金等形式向他们行贿，以寻求商路畅通。史密斯任海军部长后试图改变这一局面，支持派海军赴地中海保护美国商船的安全，并通过签订和约的方式打开了这条重要的贸易通道。

为了维护美国的中立国地位，国会通过了《禁运法案》，连续实施了一年多的时间。史密斯认为该法不足以解决美国面临的外交困境，并有损于美国的对外贸易和美法关系，但仍认真履行了使命，因为他认为美国的主权和尊严必须得到维护。后经商议，美国政府宣布废除不交往法，提出：如英法之中任何一国改变其做法，美国就与该国交好，并对另一国重施不交往法。法国对此做出了积极的反应，于是美国与之恢复正常贸易，对英国实施了贸易惩罚措施，但效果不甚明显。史密斯还多次与英国交涉，以期通过外交途径解决两国间悬而未决的问题，从而平息两国的海上冲突。但由于种种复杂的原因，美英之间的矛盾冲突愈演愈烈。

国务卿 鉴于史密斯在内阁中的出色表现和不凡的能力，詹姆斯·麦迪逊出任总统后委任他为美国第6任国务卿。此事竟播下了内阁不和的种子，因为史密斯与财政部长加勒廷积怨甚深，而后者则是总统最亲密的朋友和助手。

史密斯就职不久便参加了反对加勒廷的活动，与部分反对财政部长的议员结成了政治帮派。这一分裂很快公开化，就连加勒廷和史密斯的妻子也在公开场合发生了争吵。后来，麦迪逊与史密斯之间在一系列对外政策问题上表现出严重分歧，特别是在对英法两国的态度的问题上，总统主张继续执行前总统杰斐逊的既定政策，而史密斯则倾向于与英国人交往和通商，反对对英国实施不交往法，在一些场合表达了自己的不满情绪。结果麦迪逊对史密斯完全失去了信任，经常越过史密斯直接插手国务院事务，有时，关于外事问题的决定竟然是总统在财政部长的办公室里做出的。而加勒廷则用辞职向总统施加压力，要求将史密斯赶出内阁。加勒廷是麦迪逊最信任的内阁成员，为了挽留住加勒廷，麦迪逊答应了这一要求。因此在这场内部斗争中，史密斯最终成了牺牲品。

一天，总统与史密斯做了一次长谈，在指出他犯下的一系列过失后，要求他辞去国务卿职务，改任驻俄国公使。史密斯起初同意了，但事后认为这是一场“阴谋”，因此，他用拒绝出面迎接俄国官方代表团的方式，回绝了总统的任命。此后，史密斯收集了大批证据，揭露抨击他的政敌。

1811年5月，罗伯特·史密斯返回巴尔的摩，一方面重操律师业务，一方面继续从事政治活动，并著书立说，回顾自己的政治生涯。但他再也未能重返联邦的政治大舞台。晚年的史密斯仍然十分活跃，频繁出没于各种社交场合，以不同的身份在各种社会团体和实业界服务。

1842年11月26日，罗伯特·史密斯病逝于马里兰州巴尔的摩，享年八十五岁。