但是，陈果夫的肺结核病日趋严重，1931年6月不得不辞去中央组织部部长一职，从此退出了国民党中央党务部门，不再从事以进行派系斗争和权力斗争为主的党务工作。其组织部长一职由其弟陈立夫接任。以后除抗战中朱家骅任过4年部长外，到国民党败逃台湾，部长一职一直由陈立夫担任。
陈果夫虽然离开了中组部，将党权移交给了陈立夫，但陈立夫和CC系历来将陈果夫当作精神领袖，凡事围着他的指挥棒转，陈果夫还通过陈立夫操纵着国民党两大特务机关之一的中统。
1933年10月，陈果夫出任江苏省政府主席，在任4年，成为CC头目控制地方行政大权第一人，也是陈果夫一生中自鸣得意的一段经历。
江苏是江浙财团的基地，更是蒋介石统治的中心腹地。陈果夫到任后，制订了一整套用人方针，大量任用CC系的人。他强化江苏警察制度，在部分地区实行“警管区制”，并训练壮丁，组织保安队，自任省保安司令，统一掌控全省的地方武装。为配合蒋介石在江西对革命根据地的“围剿”，在江苏也进行了“剿匪”，大力搜捕共产党员和进步人士，并实施保甲制度，清查户口，强化法西斯统治。
除此之外，陈果夫在任内也做了一些有益的工作，如推行“教育改革”，开办职业学校和“女子生活学校”、“医政学院”，力主禁烟等。但他对娼妓却采取了放开的措施，认为“娼妓在不能根本解决以前，既无法使之不存在，与其名禁而实不禁，不如管制的开放，对社会道德、民族健康乃至于娼妓本身的痛苦，倒要好些。”致使娼妓在江苏处于完全公开合法地存在。为了给自己树立一个清官形象，陈果夫在任内还处分了四个贪污有据的县长，其中一人是他的亲戚。为了整顿财政，增加财政收入，他在省县各级确立预算制度和金库会计制度，使全省的金融牢牢控制在自己手里。