1809年3月4日，五十八岁的麦迪逊就任美国第4任总统，“弗吉尼亚王朝”得以延续（因为美国前5任总统中有四位来自弗吉尼亚，故有此称）。

麦迪逊上任后遇到了党内外反对势力的反对和敌视，对此他在组阁时作了妥协。后来的事实证明，这不是一个得心应手的内阁班子，其中一些重要成员给他带来了不少麻烦。

麦迪逊就任总统时，美国面临的国际环境十分险恶，对外贸易困难重重，国内存在着严重的意见分歧。麦迪逊企图实施杰斐逊政府末期通过的《不交往法》，以便结束英法对美国航运的骚扰。但令人遗憾的是，欧洲列强并不关注一个新生的军事力量弱小的国家的权利和商业利益，因此麦迪逊不得不实施《第二号梅肯法》，宣布废除不交往法，提出：如英法之中任何一国改变其做法，不再侵犯美国的权利，美国就与该国交好并对另一国重施不交往法。法国对此表示，只要美国对英国实施不交往法，法国将与美国恢复正常贸易。于是美国对英国实施了贸易惩罚措施。但这一措施所产生的效果也不明显。

1811年，在现今的印第安纳州境内发生了一次印第安人的暴动，在反英情绪的驱使下，国内舆论把此事件归咎于英国人的挑唆，因此对英宣战的舆论一浪高过一浪。麦迪逊无法抵御这一来势汹涌的浪潮，再加上他的外交政策已经走进了死胡同，于是要求国会对英宣战。

在经过了一场美国历史上耗时最长的激烈辩论之后，宣战议案在众院得以顺利通过，但在参议院遇到了较大阻力，反对派提出的同时向英法开战的议案差一点被通过。最终，议案仍得以通过。与此同时，麦迪逊也击败了党内外的反对势力，在争取连任总统的选举中大获全胜。

尽管麦迪逊早在1811年末就要求做好备战准备，但战争开始时，美国陆海军的力量仍非常弱小，根本无法与英军正面抗衡，国家也没有相应的财政计划。而且麦迪逊此时在国内还要面对强大的反战势力，特别是新英格兰反对宣战甚至以脱离联邦相要挟。

在陆战中，威廉·赫尔将军的远征军兵败加拿大；底特律战役、尼加拉河战役的失败不仅使美军蒙羞，而且也使他们丧失了战略上的主动权，并致使英军长驱直入，对美国内陆地区进行蹂躏。由于主战派和广大民众都高估了美国的军力，因此当失败来临时都显得束手无策，抱怨之声此起彼伏。

1814年夏天，英国增兵北美，发动新的攻势。他们经切萨皮克湾攻入首都，大肆劫掠破坏，国会大厦和总统官邸以及一些政府机构被付之一炬，国会图书馆也损失惨重。出逃中的麦迪逊遥望首都的大火，心忧如焚。其妻多莉逃离前冒火抢救了斯图尔特画的华盛顿全身肖像和许多珍贵物品，但她在混乱之中与丈夫走散。胜利的英军骄傲地在美国的土地上凯旋行进，其中一支军队在经过华盛顿陵墓时竟放礼炮表示致敬，但在他们身后却留下了片片废墟。