广州军政府方面，南方军阀排斥中山先生，先生往上海。广州军政府则以岑春煊为总裁。岑春煊为政学系宿将，李烈钧邀张群参与军政府事，遂与岑春煊结识。此际，军政府为政学系把持，政学系骨干章士钊为军政府秘书长，杨永泰为广东省省长。
这是张群与政学系的渊源，后来张群被视为新政学系的领袖，即源出于此。
1924年，冯玉祥在黄郛的策动帮助下，发动北京政变，黄郛出面组摄政内阁，为总理。张群则出任河南省警务处长。吴佩孚1926年反扑，张群返回上海。
蒋介石在1922年，当陈炯明叛变时，应中山先生之命，从浙江老家赶回广州，任东路讨贼军参谋长，随后又任大本营参谋长。1925年，东征奏捷。1926年，他任国民党中央常务委员会主席、军事委员会主席、国民革命军总司令，决定率师北伐。北方军阀加起来有七八十万人，北伐军只有几万人，差不多为十分之一比例。所以，必须战斗与瓦解其内部同时运用。张群担任分化孙传芳的工作。
张群受蒋之邀，从上海返回，从此被蒋先生倚为股肱智囊。
叔孙通式的人物
刘文岛可算一个善于拍马，官运亨通的幕僚，也是典型的叔孙通式的人物，曾为唐生智的政治部主任，后来更任唐生智驻广东代表；他和唐生智系保定军校同期同学，后来留学法国，派头洋气。北伐前期，他已活跃于湘鄂之间。