此后，张国焘从校内到校外，从北京到上海，参加组织学生运动，将在北京进行的讲演发展到上海，成为五四运动的骨干。10 月北大开课后，张国焘辞去在北大学生团体的职务，开始一心一意投入学业。但不久发生的一个意外事件打破了他重理学业的梦想。
12 月的北京已是滴水成冰的季节，一天张国焘正在厨房做饭，几名军警突然来到曦园，直奔张国焘宿舍。有位同学悄悄溜进厨房暗示张国焘，张国焘顿时意识到危险降临，赶紧抓起一把炭灰抹在脸上，然后若无其事地照常做饭，侥幸躲过被抓捕。军警没有搜出证据，也没有认出张国焘，无奈地离去。
直到下午5时，暗布在曦园周围的便衣才悄悄撤离。同学们赶紧将张国焘送到沙滩北大第一院。代理校长蒋梦麟和学生会的负责人分析认为，这次军警突袭是对学生的报复与镇压，估计北京警方列入黑名单的学生不在少数，因此决定将一些学生运动的骨干疏散到外地去开展活动。
次日拂晓，张国焘与罗家伦奉命悄悄溜出北京，在一个小火车站登上南下的列车，以北京学联代表的名义开赴上海。在沪期间，张国焘广泛联络，参加一些政治活动，与在沪国民党上层人物进行了广泛接触。