麦迪逊是在祖父留下的蒙彼利埃种植园里长大的。这里大约有二千公顷土地，水草丰茂，田园秀丽，远处可以望到苍翠的蓝岭山脉，环境十分宜人。麦迪逊一生为公务而奔波，同时也经常在此享受恬静的田园生活，这不仅使他换取了身心的健康，也培养了他对土地和土地劳动者的深厚感情。同“烟草殖民地”弗吉尼亚的其他种植园一样，蒙彼利埃种植园也是依靠奴隶种植烟草作为主业，每年都有大批烟草从这里运往市场。尽管如此，麦迪逊从少年时起就对奴隶制抱厌恶态度。麦迪逊对童年时代的记忆很淡薄，但有两件事在他幼小心灵的深处留下创痛：天花的流行和对法国、印第安人的战争（1755～1762）。当时的人们经常恐惧地议论可能来临的印第安人的袭击，这使得麦迪逊对印第安人抱有某些偏见。

父母对麦迪逊的教育颇为重视，再加上他身体虚弱，所以他的启蒙教育是由父母在家中进行的。十一岁时，父亲送他到名师唐纳德·罗伯逊的学校就读，主要学习数学、地理、文法和拉丁文等科目。罗伯逊先生的治学态度虽有几分刻板，但十分严谨，讲求实效，五年的学习生涯使得麦迪逊终生获益。16岁时，麦迪逊又拜托马斯·马丁牧师为师，在学习人文和自然科学的同时，他还认真研究了神学。1769年，他进入了普林斯顿的新泽西学院。在这里，麦迪逊读书、交友、娱乐，生活丰富多彩，充满情趣。他学习的范围十分广泛，涉猎过自然科学和社会科学的许多领域，尤其擅长演说，这为他后来从事政治活动提供了便利。他酷爱读书，经常手不释卷，特别喜欢读洛克、伏尔泰、孟德斯鸠等著名启蒙思想家的作品，深受启蒙思想的影响。他大学时代的几位密友大都才华横溢，抱负远大，后来成为美国独立和建国时期的风云人物，其中菲利浦·弗雷诺后来成为优秀的诗人；威廉·布雷德福在政治上初露头角早于麦迪逊，曾出任美国第2任司法部长。

在业余时间，麦迪逊喜欢散步、骑马、欣赏大自然的景色，也喜欢下棋。他还是一位出类拔萃的社会活动家，显示出天才的鼓动性和组织才能。他还养成了做事情有条不紊的习惯，看不起那些不遵守社会规则的人。有时也搞点恶作剧，但由于他一贯品学兼优，后来院长在回首往事时说，麦迪逊“从未做过或说过任何不妥的事”。由于学习勤奋，刻苦钻研，麦迪逊只读了两年大学就获得文学学士学位，提前毕业，并留校随院长约翰·威瑟斯庞进行神学和希伯来文法方面的研修。

1772年春，麦迪逊因病弃学返乡。父亲希望他承担起种植园的管理和经营工作，发展和扩大祖上留下的产业。但青年麦迪逊另有凌云壮志，他决心继续在法律和政治等领域进行研读，为将来在政治舞台上施展才华打下坚实的基础。