张煌言同郑成功北入长江，成功以煌言熟悉长江情形，派他领水军担任先锋。攻克瓜州后，成功计划直攻南京，煌言认为镇江是长江门户，“若不先下，则虏舟出没，主客之势殊矣。力赞济师铁瓮（即镇江）。而延平犹虑留都援骑，可朝发而夕至也。余曰：何不遣舟师先观音门，则建业震动，且自守不暇，何能分援他郡。延平意悟，即属余督水师往，且以直达芜湖为约”。他所统水军因海舟长大逆江难行，换乘沙船，牵挽而前。经仪真至六合，得知成功大军已于六月二十四日击败清军、克复镇江，即致书五军张英（张英字茂之），“谓兵贵神速，若从水道进师，巨舰逆流，迟拙非策”。极力主张由陆路迳趋南京。他自己为配合进攻南京，惟恐后期，命士卒下船于两岸芦苇中昼夜牵缆，六月二十八日到达南京观音门下。不料，成功大军并未登陆，仍旧乘船由水路进发。煌言所部先已改用较小的沙船，尚须索挽而行，成功所统多系海舟，行动迟缓，两军距离越拉越大。七月初一日，清南京守军见煌言所统前锋水军孤立无援，乃发快船一百余艘出上新河顺流拦击煌言军。张军因兵少受挫，但清方知道郑成功大军在后，不敢恋战。煌言集结所部兵船仍游弋于南京附近江中，派出使者招徕各州县。当时，清朝南京一带兵力单薄，江南各地士绅心念明朝者颇不乏人。他们听说海上义师大举入江，不少人起而响应。煌言在南京城下江中失利后，停舟于江北浦口，浦口清军百余骑竟在七月初四日从北门逃遁，煌言部下七名士卒即由南门入城。次日（初五日），成功亲统大批舟师进抵南京城下江中的七里洲，同煌言会商攻取南京。这时，传来了芜湖等地官绅纳降归附的消息，郑成功认为收取上游郡县既可以收复失地，声张兵威，又可以堵截湖广、江西等地顺江来援的清军，就请张煌言率领舟师西上，自己负责进攻南京。这以后两人分兵作战，用张煌言的话来说：“幕府之谋，自此不复与闻矣。”

七月初七日，张煌言到达芜湖，部下兵不满千，船不满百。他以延平郡王郑成功的名义发布檄文告谕州县：

昔五胡乱夏，仅一再传而灭。今东虏应谶，适二八秋之期。诚哉天道好还，况也人心思汉。慨自李贼倡叛，神京陆沉。建酋本我属夷，屡生反侧，遂乘多难，窃踞中原。衣冠变为犬羊，江山沦于戎狄。凡有血气，未有不痛心切齿于奴酋者也。本藩奉天倡义，代罪吊民，卧薪尝胆，法古用兵。生聚教训，已逾十年。正朔难偏，仅存一线。兹者亲统大师，首取金陵，出生民于水火，复汉官之威仪。尔伪署文武将吏，皆系大明赤子，谁非中国绅衿。时穷势屈，委质虏廷，察其本怀，宁无隐忍？天经地义，华夷之辨甚明；木本水源，忠孝之良自在。至如辽人，受我朝三百年之豢养，遭逆虏三十载之摧残。祖父既受其刑毒，母妻甚被其宣淫。尔二三孤儿，尚为旗下之奴；百千弱女，竟作胡中之妇。报仇雪耻，岂待异时；归正反邪，端在今日。则张良报韩，先挥博浪之椎；朱序归晋，遂成淮淝之捷。或先机革面，或临敌改图。以全省全部来归者，不吝分茅裂土；以一邑一镇来归者，定与度地纪勋。或率兵而至，则论其众寡而照数授职；或洁身而来，则就其职掌而量材超擢。若蒙古、女真，世受国家抚赏之恩，原非一类，共在天地覆载之内，亦有同仇，无怀二心，视之一体。不但休屠归汉，名高日；且如回纥扶唐，烈光叶护矣。本藩仁义素著，赏罚久明。先机者有不次之赏，后至者有不测之诛。一身祸福，介在毫芒；千古勋名，争之顷刻。师不再举，时不再来，布告遐迩，咸使闻知。敬哉特谕。

檄文以先声夺人的政治攻势来弥补自己兵力的不足。这一策略果然收到极大的效果，“江之南北相率来归。郡则太平、宁国、池州、徽州；县则当涂、芜湖、繁昌、宣城、宁国、南陵、南宁、太平、旌德、贵池、铜陵、东流、建德、青阳、石埭、泾县、巢县、含山、舒城、庐江、高淳、溧水、溧阳、建平；州则广德、无为以及和阳，或招降，或克复，凡得府四、州三，县则二十四焉”。进军过程中，由于部分清军归顺和义勇参加，兵员也不断增加，“水陆兵至万余”。张煌言孤军深入竟然取得这样巨大的成果，原因主要有三个：一是清朝在长江下游的兵力单薄；二是各地绅衿百姓不忘明室；三是煌言治军纪律严明，所到之处秋毫无犯。史籍记载，张煌言驻军于芜湖时，“一兵买面价值四分，止与十钱。店主哄起白张，张问兵，曰：‘诚有之，时无钱耳。’张曰：‘汝食大粮，何云无钱？’将蓝旗一面投下，曰：‘拿下去！’左右缚兵，兵问故，曰：‘张爷令斩汝。’兵大惊曰：‘吾罪岂至此乎？容吾回禀。’张曰：‘吾有谕在外，即一钱亦斩，况四分乎？’遂斩之”。煌言自记：“予之按芜邑，兵不满万，船不盈百，惟以先声相号召，大义为感孚，腾书荐绅，驰檄守令，所过地方，秋毫无犯，偶有游兵阑入摽掠者，即擒治如法。以故远近壶浆恐后，即江楚州中豪杰，多诣军门受约束，请归祃旂相应。”张军纪律严明，受到百姓广泛欢迎，士大夫更以重睹汉官威仪为盛事。史载：“寇之入宣城也，谒文庙，坐明伦堂，博士诸生儒冠洁服，不期而会得数百人。荐绅执事，威仪称盛”。这些事实都说明当时反清复明势力的社会基础还相当大，郑成功在南京战败主要是用兵不当，不能归因于清朝统治已经基本稳固，把郑成功、张煌言发动的长江战役说成是注定要失败的军事冒险。

七月二十四日，郑成功在南京大败，随即主动放弃镇江、瓜州，仓促退出长江。当时，张煌言正在宁国府（府治宣城）接受新安（即歙县，徽州府治）来降的使者，突然得到南京战败的消息，立即赶回芜湖。他鉴于自己的军队已经收复芜湖、池州、宁国、太平一带地区，但兵力不足，就派了一个名叫松隐的和尚带着帛书由间道去寻找郑成功的行营，信中写道：“胜败兵家常事，不异也。今日所恃者民心尔，况上游诸郡邑俱为我守，若能益百艘来助，天下事尚可图也。傥遽舍之而去，其如百万生灵何？”可是，郑成功部主力迅速撤出长江，煌言的帛书根本无从寄达。我们固然不能说如果郑成功在南京城下战败后，留守镇江、瓜州整顿部伍，并且按张煌言的要求派出一百艘战船增援张军，长江战役就将转败为胜；但有一点是可以肯定的，郑成功既然在兵至南京时再三敦劝张煌言率部收取上流州县，兵败撤退时至少应当通知并等待张军回航后一道东下。从张煌言出险后所作《北征录》中清楚地表明郑成功退出长江时并没有告知张煌言，这无异于置张军于死地。煌言云：“初意石头师即偶挫，未必遽登舟；即登舟，未必遽扬帆；即扬帆，必且据守镇江。余故弹压上流不少动。”按当时形势分析，郑军在南京城下陆战大败，江中舟师的优势仍然是显而易见的，在清方组织重兵进攻镇江、瓜州以前，完全没有必要那样匆促撤退。郑军撤出南京以下水域，使处于芜湖等地的张煌言部陷入极端困难的境地。清两江总督郎廷佐等人认定这是消灭孤立无援的张军的最好时机，他们一面调集水、陆军切断张军出海退路，“江中虏舟密布”，“百计截余归路”；一面写信招降，遭到煌言坚决拒绝。八月初，张煌言得知清安南将军固山额真明安达理带领的一支军队为援救南京由荆州乘船东下已经到达安庆，己部已处于东、西夹攻之中。在同部将商议后，煌言决定移舟西上，迎战缺乏水战经验的荆州清军，然后进入江西鄱阳湖，另辟抗清局面。八月初七日，张军在安徽繁昌、获港、三山江西与明安达理所统清军相遇，双方互有伤亡。这天夜晚，明安达理因为不知道南京已解围，急于东下，发炮启航。煌言部下将士早知退路已断，军心不稳，半夜听见炮声轰然，以为是清军劫营，各自解缆开船，有的返回芜湖，有的前往巢湖，业已溃不成军。天亮以后，湖广清军已东下南京，煌言点检部下兵将寥寥可数，“江西之役，已成画饼矣”。煌言为避免在长江中被清军歼灭，把所乘海船凿沉，准备换坐小舟由水道入巢湖。有内地复明人士向他建议，巢湖入冬水涸，难以长期坚持水战，不如舍舟登岸，直趋皖、鄂交界的英山、霍山地区，这一带绅民曾长期据险抗清，可以同他们会合坚持斗争。煌言接受这一意见，下令焚毁船只，率众登陆，取道桐城前往英、霍山区。由于张军长期在海上作战，不习惯走山路，又携带许多家眷辎重，一天才走三四十里。八月十七日，行至霍山县阳山寨下，“寨在山颠，可容万人，饶水泉，向多义旅”。可是，这时盘踞该寨的褚良甫早已接受清方招抚，又听说郑成功大军已败，坚决拒绝煌言部众入寨。煌言进退失据，部下在清军追击下，四窜山谷。他身边只剩下两名随从，在地方义士的掩护下改装易服，由山路趋安庆、建德、祁门、休宁、衢口、淳安、遂安、义乌、天台、宁海抵海滨，历时近半载，行程二千余里，艰苦备尝，终于回到了海上义师军中。