1786年，伦道夫代表弗吉尼亚出席了安纳波利斯会议。此会议名为讨论州际贸易问题，但其主旨却在于修改《邦联条例》，在亚历山大·汉密尔顿和詹姆斯·麦迪逊的积极游说下，会议决定再召开一个关于制宪的诸州会议。伦道夫对这一行动表示支持。

同年，伦道夫被选为弗吉尼亚州州长，为处理州务而日夜操劳。他行事稳健，善于协调各种利益和矛盾，因此任州长期间未发生什么大的风波。其时，制宪运动正在各地蓬勃发展，伦道夫是弗吉尼亚制宪运动的积极推动者。当得知乔治·华盛顿对是否参加制宪会议抱犹豫态度时，伦道夫与麦迪逊共同前去做工作。3月28日，华盛顿写信给伦道夫，表示接受他的建议。后来，华盛顿在制宪会议上发挥了不可替代的作用，伦道夫对此功不可没。

在著名的1787年制宪会议上，伦道夫作出了较大的贡献。5月29日，他向会议宣读了“弗吉尼亚方案”，成为会议讨论的基础。其主要内容是：设立两院制议会，议员按人口比例向各州分配名额，联邦行政部门由议会选出等。该方案虽然代表了大州的利益，但包含了不少真知灼见，对《联邦宪法》的制定工作产生了巨大影响。在随后开展的批准新宪法的运动中，他与杰斐逊的观点同出一辙，要求对宪法的内容加以充实完善，即把一些基本的民主权利列入宪法。此后，伦道夫积极参与了这场运动。

父亲病故后，伦道夫继承了一笔相当可观的家族遗产（包括田产和奴隶），但同时，父亲也给他留下了一笔不小的债务。为了还上这笔债务，他花费了很多年的时间，但由于他十分珍视祖上传下来的产业，因此拒绝了让他出卖遗产的所有建议。

议员、司法部长 伦道夫是律师出身，因此对法制建设十分关注，主张建立一个民主和法治的共和国。当他发现州长是个“忙碌而平庸”的职位，不能真正实现他的主张时，便辞去这一职务，通过激烈的竞选进入了州议会，以期在立法工作中实现他的政治理想。他的这一举动令当时的许多政界人士感到意外。

但伦道夫在弗吉尼亚议会工作的时间并不长，由于他在法律事务上表现出的热情和才华，加上与总统的私人关系，1789年9月被任命为联邦司法部长。作为第一任司法部长，他在美国的法制建设方面做了大量奠基性的工作。例如，他主持了创建美国司法制度的工作，努力通过立法途径保护各项自由权利，帮助总统起草了许多重要文件，他还与一些政治家一起抵制国家银行。

国务卿 1793年12月31日，托马斯·杰斐逊由于厌恶汉密尔顿的政治专横而辞职，华盛顿斟酌再三，将国务卿的重任委托给伦道夫。此时，美国政坛上党争骤起，伦道夫虽然观点与杰斐逊相近，但试图左右逢源，结果却遭到了两派的诋毁和诘难，在夹缝中处境尴尬，任职期间政绩平平。