1658年（顺治十五年、永历十二年），清军三路进兵西南，李定国等战败，永历朝廷形势危急。郑成功见清方主力集中于西南，认为这是扩大以自己为首的东南抗清基地的大好时机，决定率领主力乘船北上，展开长江战役。这年五月，中提督甘辉统领前军乘船进至沙埕；二十七日在桐山（今福建省福鼎县，与浙江省接境）一带征粮。郑成功亲自带领的主力也到达距沙埕三十里的岑屿。六月初十日起，张煌言、甘辉、马信等集中兵力进攻温州府属的瑞安县城。清方报告郑军“联䑸数千，甲兵数万，分道突犯，密布帐房，扎营绵亘四十余里，烟火蔽天。此番大举非比寻常登犯，且贼䑸横截飞云江口（飞云江流经瑞安县城西南入海），援兵莫渡，平（指平阳县，在飞云江之南）、瑞（安）二县声息不闻。又复水陆并进，窥伺郡城（指温州）。我兵首尾牵制，万分危迫”。清政府除集中浙江驻守军加强防御外，还从河南、江西、山西、山东抽调兵马增援。郑军在温州地区征集粮饷后，即移舟北上，准备入长江，攻取南京。

八月初九日，郑成功统领大批兵马乘船由浙江舟山进抵羊山（今大洋山，属崎岖群岛）。这里是“海道必由之路”，“南至定海，北至吴淞，皆一潮可到，盖江、浙之交界也”。此行的目的正如郑成功所说：“我提师望复神京，以为社稷。”初十日中午，成功召集各提督商讨进兵机宜。不料天有不测风云，陡然之间乌云滚天，狂风骤起，大雨如注，波涛汹涌，郑军舟船对面亦不相见，互相撞击和为大浪颠覆，翻沉损坏的很多。郑成功的六位妃嫔，第二、第三、第五个儿子都被淹死，兵将、船艘、器械损失巨大。郑成功遭到这一意外打击，说：“今船只兵器损失，长江难进矣。须溜回舟山收拾，再作区处。”八月十四日，他督师回到舟山进行整顿。由于该岛一片荒芜，大军难以久留，九月初，郑军船只分三帮经舟山群岛与镇海县之间的海峡南下。这次动员的兵力据清方档案记载至少有船舶一千余艘，陈应泰揭帖中竟说有“五千余艘”，留守金、厦一带的兵力自然比较单薄。“重兵劲卒尽数而出，所余留守老巢者虽有三镇、五镇之众，不过老弱病养并在其中。”清福建提督马得功乘机出兵于六月初四日攻占了泉州附近的郑军基地白沙（即郑鸿逵归隐地）。郑军中一些清方投降过来的北方兵将不习惯海上军旅生活，被羊山飓风吓坏了，纷纷逃走。郑成功一面整顿队伍，制造器械，修补船舰，筹集粮饷，准备明年再举；一面在南返途中攻克台州、海门卫、黄岩县、磐石卫、乐清县等浙江沿海要地。大致来说，在第一次北征受挫到次年五月入吴淞口进攻南京的半年多时间里，郑军主力一直驻于浙江沿海一带，成功本人也往来于磐石卫、沙关（今浙江、福建交界处之沙埕）二地。

到1659年（顺治十六年，永历十三年）二月二十日，郑成功由沙关来到磐石卫，下令各提督、统领、总镇“速办船只，催完饷务，限三月内齐到磐石卫听令”，着手部署长江战役。这次准备进军有两点值得注意，一是加强了金、厦基地的防务，二是命令将士携带家眷随军行动。先说第一点，郑成功吸取了上年北征时清军趁虚攻陷白沙的教训，留守金门、厦门等地的兵力显然有所加强。这年八月清福建总督李率泰向朝廷报告：

今逆孽虽犯江宁，而厦门各岛乃其巢穴，近据各汛报称，有伪提督黄廷等领兵数千留守厦门，尚有多贼分布各汛港口，浯州则有伪前镇戴捷，州则有伪仁武镇康邦彦，把守海澄港口海沧等处则有伪礼武镇林顺，泉州港口蜂尾等处则有伪中镇黄昌，游移高崎地方乃系伪援剿右镇吴胜，铜山更有伪护卫右镇黄元同伪忠匡伯张进，南澳则有伪忠勇侯陈豹，定海则有伪五军都督陈尧策等。或一伪镇领兵千余名，驾船数百只，或扼守各港要区，或往来沿海窥探。无时不图登掠，无汛不用堤防……。

这对于保证后方基地安全和牵制福建清军无疑起了重要作用。第二点，郑成功用兵历来把将士的家属安置于比较安全的地方，拨兵保护；这次却“传谕官兵搬眷随征。谕云：官兵远征，不无内顾；携眷偕行，自然乐从。本藩统领大师，北伐丑虏，肃靖中原，以建大业。虑各勋镇将领官兵，永镇之时有为家之念，已经着兵、户官拨赶缯船配载各眷；各令有眷官兵照依派船载来，暂住林门，候令随行”。他还特地指派忠靖伯陈辉、宣毅前镇陈泽领水师一镇保护女眷船只，随军行动。据记载，“时官兵俱各欣悦”，只是苦了晕船的太太小姐们，“颇有怨言”。古语有云：“军中有妇，士气不扬”，郑成功当然不会轻易违反这个军事原则。他这样做的原因是认定攻克南京、收取江南有必胜的把握，命令中用了“永镇”字样就是个证据。这无疑犯了轻敌的错误。徐孚远作《北伐命偏裨皆携室行因歌之》诗云：

浪激风帆高入云，相看一半石榴裙。

箫声宛转鼓声起，江左人称娘子军。

长江铁锁一时开，旌旆飞扬羯鼓催。

既喜将军挥羽入，更看素女舞霓来。

挥戈筑垒雨花台，左狎夫人右酒杯。

笑指金陵佳丽地，只愁难带荔枝来。

徐孚远的诗对郑成功决定命将士携眷属随军作了巧妙的讽刺。从明、清两代战史来看，明太祖朱元璋曾经规定将领出征不得携带家眷，这固然有扣留妻子为人质，防止将领叛变的意图，但对于将士在前线作战时无旁顾之忧显然起了积极作用。清朝制度也颇为类似，刘献廷记载，“清制：惟王行师可携妇人，贝勒、贝子、公皆有定数；公以下不得有”。郑成功决策的失误，对于进入长江之后郑军不愿舍舟陆行，南京城下战败后匆促撤出长江显然都有密切关系。

郑成功1659年的大举进攻南京，是基于以下几点考虑：一，据他所得到的情报，清军主力除留守北京以外，已开赴云贵一带，驻防南京一带的兵力非常薄弱，其中满族军队只是昂邦章京喀喀木带领的一支小队伍；二，他从内地复明志士魏耕等人提供的消息中得知江南各地汉族官绅士民反清的潜在势力还相当大，判断以优势兵力大举展开长江战役，必将收到远近来归的效果；三，江南是全国财政的主要来源之地，又是全国的腹心之区，一旦夺得该地，不仅将使明、清在经济实力上发生逆转，而且攻克南京之后趁势收取长江中下游，将造成清朝统治区南北隔断，为下一步用兵创造有利条件；四，朱元璋是以南京为基地完成统一大业的，南京在明代先后是京师和留都，尽管清朝在顺治二年将其改为江宁府，但在相当多的人们心目中这里仍然是全国的政治中心之一。因此，在郑成功等人看来，攻下南京，收取长江中下游各地，复兴大业将由出没海岛之间移到龙盘虎踞的石头城，明清相持的局面将大为改观。这就是郑成功等人发动长江战役的基本战略意图。