在集中力量搞总路线宣传提纲的时候，宪法的起草已经开始准备，中央人民政府办公厅编辑了四本《宪法选举法资料汇编》，陈伯达在11月至12月间写出了一份宪法草稿。

1953年12月24日下午3时，胡乔木跟随毛泽东乘专列离开北京，同去的还有宪法起草小组另外两位成员陈伯达、田家英和负责安全保卫工作的罗瑞卿（时任公安部部长）。毛泽东一行在27日夜到达西湖边的杭州，开始从事这项奠定新中国民主与法制基础的千秋伟业——起草中华人民共和国宪法。

毛泽东住在刘庄（今西湖国宾馆）一号楼。胡乔木等宪法起草小组成员住宿和办公地点安排在北山路84号大院30号楼。毛泽东办公在30号楼的平房。通常每天下午3点，毛泽东驱车绕道西山路，穿过岳王庙，来到北山84号大院。在30号楼平房，或开会讨论，或执笔修改。

胡乔木青少年时代就从父亲的藏书中读过《世界现行宪法》等著作，在这方面有些知识积累；1949年参加起草《共同纲领》时对各种宪法又进行过一些研究，形成比较系统的见解。这次为起草中华人民共和国宪法，他又认真研读了各种类型的宪法，包括：1918年苏俄宪法、1936年苏联宪法；《人民民主国家宪法汇编》（人民出版社出版）中辑录的罗马尼亚、波兰、捷克斯洛伐克、德意志民主共和国等各人民民主国家的宪法；法国1946年宪法（代表较进步较完整的资产阶级内阁制）；中国从清朝以来的历次宪法（包括有宪法作用的“条规”“约法”）：清朝宣统三年（1911）的《十九信条》，民国元年孙中山颁布的《中华民国临时约法》，1913年的《天坛宪法草案》（代表内阁制），1923年的曹锟宪法（代表联省自治制），1931年蒋介石的《中华民国训政时期约法》，1946年蒋介石宪法（代表总统独裁制）。对在《共同纲领》之后制定的这部新中国宪法，应该是一部怎样的宪法，在胡乔木的心里，是有一些设想的。他看了陈伯达起草的宪法草稿，觉得问题太多了。田家英也有同感。

在毛泽东召集的第一次起草小组会上，胡乔木对陈伯达起草的宪法草稿提了许多修改意见，陈伯达很不高兴。会后，陈把气出到田家英头上，对田发火说，任何人不经他许可，不得在主席面前议论他所起草的那个稿子。以后再开会讨论，田家英只得把胡乔木和他要提的意见先向陈伯达汇报。同去的罗瑞卿后来也参加了讨论，他没有顾忌，直截了当地批评陈伯达的稿子。更为重要的是，毛泽东对陈伯达的草稿很不满意，在许多重大问题上当面提出种种修改意见。几次讨论下来，胡乔木和田家英便把起草宪法的具体工作担当起来了。

从1954年1月9日开始，毛泽东领导宪法起草小组重新起草。毛泽东有一个比较具体的计划：争取在1月31日完成宪法草案初稿，随即送中央各同志阅看；准备在2月上半月将初稿复议一次，请邓小平、李维汉两同志参加。然后提交政治局（及在京各中央委员）讨论作初步通过；3月初提交宪法起草委员会讨论，在3月份内讨论完毕并初步通过；4月内再由宪法起草小组审议修正，再提政治局讨论，再交宪法起草委员会通过；5月1日由宪法起草委员会将宪法草案公布，交全国人民讨论四个月；9月间根据全民讨论意见作必要修正后提交全国人民代表大会作最后通过。

根据毛泽东的这个时间表，胡乔木等在北山30号楼加紧研究和起草，往往一干就是一个通宵。即使如此努力，重写初稿的任务比原定计划还是推迟了半个月，在2月中旬才将初稿写成。毛泽东立即派专人于18日乘火车把宪法初稿清样（油印打字稿）送往北京，并在2月17日晚10点给刘少奇并书记处各同志发去一份电报，对后续工作进行具体布置。