第三野战军发起渡江作战后最重要的攻击目标是上海。4月27日，第三野战军部队进占苏州，5月3日进占杭州，从西、南两面逼近中国最大的工商业与经济中心城市——上海。上海虽集中了20余万国民党军，但从军事角度而言是守不住的，只是上海人口众多，情况复杂，中共如何顺利有序地接管上海并维持其日常生活与社会秩序的运转正常，是一项艰巨的任务，因此，中共中央军委指示第三野战军暂时不急于攻击上海，而是先做好各项准备工作，“何时占领上海，要等候我们的命令”。在此期间，总前委组织接管干部集中培训，学习接管政策。中共上海地下党则利用上海人民团体联合会、工协、职协、教协、学联等群众组织，组织纠察队，开展护厂护校，准备里应外合；同时积极策动国民党军将领起义，策动以颜惠庆为首的地方维持会在必要时维持地方秩序。
国民党军在江防作战前后，也在加紧准备上海防守作战。4月1日，上海市市长吴国桢辞职，由秘书长陈良代理其职务。南京失守后，京沪杭警备总司令部撤至上海，成为防守上海的最高指挥机构，其下有石觉任司令的淞沪防卫司令部负责作战行动，陈大庆任司令的淞沪警备司令部负责市区警备。担任防守上海的有9个军25个师22万人，其中浦西外围与市郊部署5个军，市区部署1个军，浦东部署2个军，崇明岛部署1个军。上海地势平坦，周边缺乏高地掩护，市区由黄浦江分为浦东和浦西，浦西又以苏州河为南北分界。国民党军主要依靠筑工事守备，浦西从吴淞以西逶迤向南，经月浦、杨行、刘行、大场、真如、虹桥、龙华直至浦江，浦东从高桥向南经高行、洋泾、塘桥，构筑了长数十公里，纵深数公里，有钢筋水泥碉堡数千座、掩体万余处的守备主阵地。其间以战壕相连，形成交叉火力配备，外围有壕沟障碍和布雷区，要求“以永久工事为骨干，构成面的环形阵地”，“彻底扫清阵地内及阵地前一公里以内之射界，构成浓密交叉火网；同时，并动员一切资财，设置大纵深之障碍与阻绝（含雷区），完成火点间之掩盖交通线，以造成无法超越之死线”。在市区则利用高楼林立的条件，依托高大坚固建筑物，构筑核心阵地，准备在外围作战不利时据此固守。在部署上，浦西重于浦东，苏州河北重于苏州河南，特别注重保持出海口之吴淞、高桥核心阵地，以保证海上退路的通畅。总的防守目标：“集中适当兵力，利用淞沪坚固工事，确实组织并发挥陆海空歼灭性之联合战力，及运用一切人力物力财力，保证足以抗衡任何强大之攻击，待消耗衰竭匪之攻击力量后，再行转移攻势，击灭犯匪。"4月26日，蒋介石由溪口亲至上海，召集参谋总长顾祝同、空军总司令周至柔、海军总司令桂永清、联勤总司令郭忏，以及汤恩伯、石觉、陈大庆等高级将领讨论防守方略，要求坚守上海6个月，以待时局变化，同时紧急抢运上海物资，至5月中旬，列入运输计划的54000吨物资已运走13000吨。