当反英独立的革命风暴冲击北美大陆时，马歇尔毅然告别了平民生活，加入到革命斗争的行列之中。

1775年春天，马歇尔参加了当地的民兵组织，在弗吉尼亚打击英国军队。后来，他参加了大陆军，转战各地，先后参加了布兰迪万、福吉谷、日耳曼敦等战役，在历次军事行动中均有突出表现，军职不断晋升。艰苦的战斗岁月锻炼了他的毅力和品格，也增强了他的领导和决断能力。此时期他给人的印象是性格坚强执著，办事果敢有效率，但比较刻板。

1780年，马歇尔退役。他决定继续学习法律专业，不久，便进入了威廉·玛丽学院，师从托马斯·杰斐逊当年的老师乔治·威思先生。在当时，弗吉尼亚律师协会对从业人员的要求极高，但由于马歇尔为人忠诚，业务能力过人，所以很快就取得了律师资格。

1782年初，马歇尔移居里士满。同年与玛丽·安布勒小姐喜结良缘。婚后夫妻感情甚笃，家庭生活稳定而幸福。就在这一年，马歇尔被选入州立法议会，他的律师业务也开展得十分红火，很快就成为当地律师界的精英。

这时期，马歇尔的联邦主义政治倾向日益明显。他根据自己的军人生涯和邦联体制的弊端，深切感到建立联邦制国家的必要性，因此积极支持1787年费城《联邦宪法》。此后，他成为弗吉尼亚批准宪法运动的领导人之一，对于联邦宪法在该州的批准起了重要作用。出于对司法权的高度重视，此间他反复强调司法权对立法权的制约作用，因此在法律界赢得了声誉。

联邦政府建立后，马歇尔的观点与联邦党人十分相近，支持亚历山大·汉密尔顿的一揽子经济计划。但由于个人财务等问题，他没有接受政府对他的一些重要任命。约翰·亚当斯总统任内，美法矛盾尖锐，亚当斯总统派马歇尔参加一个赴法使团，试图解决两国分歧。马歇尔接受了任命。但督政府外交部长塔列朗没有与使团见面，而是派来几个说客羞辱性地诱使美国人向法国行贿，而后才能进行谈判。美国人拒绝了（但也有史学家通过研究认为，如果当时法国人同意谈判期间停止在海上捕获美国船只，美国人是同意行贿的）。马歇尔以高傲的姿态回绝了法国人的索贿要求，然后愤而离境，其正义言行得到了国人的交口称赞。

1799年，在帕特里克·亨利的大力支持下，马歇尔当选为国会议员。在国会中，他是亚当斯总统最坚定的支持者之一，虽然他此时的某些主张与联邦党人不尽相同。

出任国务卿 1800年6月，在友人的再三劝说之下，马歇尔终于接受了亚当斯总统的任命，出任美国国务卿一职。此时，美法关系不断恶化，法国私掠船不断在公海上掠夺美国商船，以汉密尔顿为首的新英格兰联邦党人主张对法宣战。马歇尔虽然具有亲英倾向，但支持亚当斯总统继续执行中立政策，设法通过外交途径解决争端。1800年9月，美国派出新的外交使团赴法谈判，签订了和约，宣布废除1778年美法同盟条约，重申公海自由的原则，从而结束了一场一触即发的战争危机。这一条约是美国孤立主义外交的体现，使美国远离了欧洲的纷争，但它却造成了联邦党内部严重的分裂。马歇尔还促成了与西班牙等欧洲国家的谈判，以稳定美国的对外贸易。这一条约也表明了法国对美国政策的转变，即不再试图控制美国，或利用美国对抗英国。