1782年，三十一岁的麦迪逊陷入了初恋的喜悦之中，他的心上人是15岁的基蒂·弗洛伊德。两人深深地堕入了情网，难分难舍，并确定了结婚的日期。在给杰斐逊的信中，麦迪逊描绘了自己的欢乐和对幸福生活的憧憬，甚至为此他准备放弃大陆会议的工作。但第二年，基蒂突然解除了婚约，与别人结为眷属，这件事使麦迪逊的情绪一度跌落到最低谷。

1783年，麦迪逊重返弗吉尼亚议会，为了忘却婚姻问题和官场失意带来的烦恼，他全身心地投入了老朋友杰斐逊的民主改革事业。经过他的努力，弗吉尼亚《宗教自由法案》终于完成了立法程序。在议会中，他领导了反对在弗吉尼亚重建主教派教会的斗争，挫败了某些议员提出的威胁政教分离思想的议案。他还极力促进了本州资源的开发工作和对外贸易。他在议会中还多次呼吁不得对异端定罪和对公职人员进行宗教考核，并提出了相关法案，经议会审议后通过。这时期他兼任商务委员会主席，致力于提高该州各港口的等级，以加强同外界的竞争。

“宪法之父” 在州议会期间，麦迪逊对松散的邦联体制的可靠性的怀疑进一步加大，仍坚持建立强大的联邦的主张，对此，他明确指出，脆弱的邦联制和过度的民主使国家难以应付来自国内外的巨大压力。麦迪逊的言论和观点得到了华盛顿的赞赏，极端的联邦主义者甚至也把他视为同路人。

1786年，麦迪逊参加了安纳波利斯会议。此会议是为讨论州际贸易问题而召开的，但会议的重要之处却在于：它决定在次年召开一个讨论修改《邦联条例》的诸州会议。麦迪逊是推动会议做出这一决定的关键人物之一。

安纳波利斯会议结束后，麦迪逊转道来到弗农山庄，向华盛顿汇报了会议的情况，劝说他接受自己的主张，并参加制宪会议。

1787年于费城召开制宪会议，历时三个月，麦迪逊是带着一套宏大的制宪方案前来与会的，在这个被杰斐逊称为“半人半神的大聚会”中扮演了举足轻重的角色，从而成了宪法的总设计师之一。他草拟的“弗吉尼亚方案”成为会议上制定的新宪法的理论依据。他为建立一个联邦制的国家而慷慨陈词，起草了大部分宪法条文。他主张加强中央的权力，在联邦政府中实行分权制衡原则，建立具有民意基础的两院制国会体系。但他不同意汉密尔顿等极端联邦派的主张，而是主张建立一个能在中央与各州之间层层分权的联邦体系，确立司法部门的独立地位，并提出应由选民直接选举产生众议员。会议期间，麦迪逊对会议过程做了详细而准确的记录，为后人了解这次秘密会议提供了第一手资料。《联邦宪法》于9月17日正式签署公布。由于麦迪逊的思想主张和社会活动对《联邦宪法》的制定发生了巨大的影响，而且他还是制宪会议的主要记录者，所以许多史学家称他为美国的“宪法之父”。