筹备建立共产党的事宜正在紧张地进行，张国焘在为陈独秀分担工作的同时，也有机会了解到陈独秀的建党思想，并有足够的时间与陈独秀探讨当前局势、三民主义、社会革命、共产主义运动，以及建党的诸多问题。

陈独秀在许多问题上的见解都使他受益匪浅，又亲眼见到、亲身参与建党活动，使他无论从感性认识还是从理论认识上，都有了一个大的飞跃。

8月，上海共产党小组正式成立，机关刊物为《共产党》，这是中国第一个共产党小组。9月，张国焘兴致勃勃返回北京。此时皖系军阀在直皖大战中失败，北京政权被直系曹锟、奉系张作霖联合控制，形势已趋稳定。张国焘重返校园后，首先去红楼李大钊在图书馆的办公室，向李大钊介绍了上海共产党小组成立的详情，并说：

“陈独秀先生让我转告您，希望您能在北京尽快成立共产党小组。”

“好，我已经有个初步考虑。”

此时李大钊已经收到陈独秀的来信，请他在北京成立共产党小组，以南北呼应

“我们就依照上海共产党小组的模式，在北京也建立一个同样的共产党小组。”

随后，李大钊将自己的决定告知张申府，邀请他参与发起建立共产党小组。张国焘则联系了罗章龙、刘仁静两名同学参加进来。

9月中旬，北京共产党小组在李大钊的图书馆主任办公室召开第一次会议，张国焘、张申府、刘静仁、罗章龙与无政府主义者黄凌霜、陈德荣等共九人到场，与李大钊共同商议发起北京共产党小组的相关问题。

张国焘向大家介绍了上海共产党小组的详细情况，会议最终商定了工作如何进行和分配，其中李大钊负责联络工作，张国焘担任工人运动的发动工作，黄凌霜、陈德荣负责创办《劳动音周刊》的编辑与发行工作，罗章龙、刘仁静负责组织社会主义青年团。