在集中力量搞總路線宣傳提綱的時候，憲法的起草已經開始準備，中央人民政府辦公廳編輯了四本《憲法選舉法資料匯編》，陳伯達在11月至12月間寫出了一份憲法草稿。

1953年12月24日下午3時，胡喬木跟隨毛澤東乘專列離開北京，同去的還有憲法起草小組另外兩位成員陳伯達、田家英和負責安全保衛(wèi)工作的羅瑞卿（時任公安部部長）。毛澤東一行在27日夜到達西湖邊的杭州，開始從事這項奠定新中國民主與法制基礎的千秋偉業(yè)——起草中華人民共和國憲法。

毛澤東住在劉莊（今西湖國賓館）一號樓。胡喬木等憲法起草小組成員住宿和辦公地點安排在北山路84號大院30號樓。毛澤東辦公在30號樓的平房。通常每天下午3點，毛澤東驅車繞道西山路，穿過岳王廟，來到北山84號大院。在30號樓平房，或開會討論，或執(zhí)筆修改。

胡喬木青少年時代就從父親的藏書中讀過《世界現(xiàn)行憲法》等著作，在這方面有些知識積累；1949年參加起草《共同綱領》時對各種憲法又進行過一些研究，形成比較系統(tǒng)的見解。這次為起草中華人民共和國憲法，他又認真研讀了各種類型的憲法，包括：1918年蘇俄憲法、1936年蘇聯(lián)憲法；《人民民主國家憲法匯編》（人民出版社出版）中輯錄的羅馬尼亞、波蘭、捷克斯洛伐克、德意志民主共和國等各人民民主國家的憲法；法國1946年憲法（代表較進步較完整的資產階級內閣制）；中國從清朝以來的歷次憲法（包括有憲法作用的“條規(guī)”“約法”）：清朝宣統(tǒng)三年（1911）的《十九信條》，民國元年孫中山頒布的《中華民國臨時約法》，1913年的《天壇憲法草案》（代表內閣制），1923年的曹錕憲法（代表聯(lián)省自治制），1931年蔣介石的《中華民國訓政時期約法》，1946年蔣介石憲法（代表總統(tǒng)獨裁制）。對在《共同綱領》之后制定的這部新中國憲法，應該是一部怎樣的憲法，在胡喬木的心里，是有一些設想的。他看了陳伯達起草的憲法草稿，覺得問題太多了。田家英也有同感。

在毛澤東召集的第一次起草小組會上，胡喬木對陳伯達起草的憲法草稿提了許多修改意見，陳伯達很不高興。會后，陳把氣出到田家英頭上，對田發(fā)火說，任何人不經他許可，不得在主席面前議論他所起草的那個稿子。以后再開會討論，田家英只得把胡喬木和他要提的意見先向陳伯達匯報。同去的羅瑞卿后來也參加了討論，他沒有顧忌，直截了當?shù)嘏u陳伯達的稿子。更為重要的是，毛澤東對陳伯達的草稿很不滿意，在許多重大問題上當面提出種種修改意見。幾次討論下來，胡喬木和田家英便把起草憲法的具體工作擔當起來了。

從1954年1月9日開始，毛澤東領導憲法起草小組重新起草。毛澤東有一個比較具體的計劃：爭取在1月31日完成憲法草案初稿，隨即送中央各同志閱看；準備在2月上半月將初稿復議一次，請鄧小平、李維漢兩同志參加。然后提交政治局（及在京各中央委員）討論作初步通過；3月初提交憲法起草委員會討論，在3月份內討論完畢并初步通過；4月內再由憲法起草小組審議修正，再提政治局討論，再交憲法起草委員會通過；5月1日由憲法起草委員會將憲法草案公布，交全國人民討論四個月；9月間根據(jù)全民討論意見作必要修正后提交全國人民代表大會作最后通過。

根據(jù)毛澤東的這個時間表，胡喬木等在北山30號樓加緊研究和起草，往往一干就是一個通宵。即使如此努力，重寫初稿的任務比原定計劃還是推遲了半個月，在2月中旬才將初稿寫成。毛澤東立即派專人于18日乘火車把憲法初稿清樣（油印打字稿）送往北京，并在2月17日晚10點給劉少奇并書記處各同志發(fā)去一份電報，對后續(xù)工作進行具體布置。