绥远是当时华北敌军傅作义集团防御体系中薄弱的一环。一九四八年三月以来，华北我军配合全国各个战场的反攻，在察哈尔、绥远、山西、河北数省向敌军展开了强大攻势，收复了察南、晋西和冀东大片土地，歼灭敌军十七万余人，使华北敌军陷入了被动局面。傅作义被迫将主力集中于平承、北宁铁路和平绥铁路东段，以确保平津；绥远仅留四万余人分散守备，相对显得空虚。党中央、毛主席洞察全局，深谋远虑，早在一九四八年七月华北我军进行保北战役时，就已开始部署西进绥远之战。七月三十日，奉军委命令，我第二纵队和第一、第六等三个纵队组成第三兵团，准备担负进军绥远、经营绥远的任务。八月三日，毛主席在河北省平山县西柏坡中央驻地亲自召见了华北军区司令员聂荣臻和三兵团司令员杨成武，当面授予了进军绥远的光荣任务，并对进军的有关问题作了详尽的指示和安排。

八月九月，三兵团在易县地区召开团以上干部会，聂荣臻司令员亲临会议作了动员报告，传达了毛主席的指示，对国内外形势、华北战场敌我态势和毛主席亲自决定我军向绥远进军的重大战略意义作了详细的分析，对部队提出了要求。聂司令员风趣地对干部们说：“我们要使傅作义成为我军意志的‘调兵司令’，能不能达到这一点，就看你们三兵团在绥远打得他疼不疼了”。聂司令员的报告使大家受到了极大的鼓舞，同志们磨拳擦掌，斗志十分高昂。接着，杨成武司令员具体部署作战任务，分析了这次远征的有利条件和可能遇到的困难。他特别强调指出，这次行动，远离根据地，深入敌军窠穴，敌情、道路不熟，绥远又地处高寒山区，山多水少，地旷人稀，冬季气候寒冷，当地群众在国民党反动统治下，生活十分贫困，战区物资匮乏，特别是粮食更加紧张，我军长途跋涉，千里进军，在物资供应、行军作战、群众工作等方面都会遇到许多在内线作战时遇不到的问题和困难。我军到绥远要站住脚，就得准备饿三天肚子，吃两天草。杨司令员号召全体团以上干部发扬我军艰苦奋斗的光荣传统，学习红军爬雪山、过草地的革命精神，克服一切艰难困苦，坚决完成毛主席赋予的进军的任务。毛主席的指示和两位司令员的讲话，使大家有了克服困难的充分思想准备和决心。

会议一结束，我和第二纵队的领导同志立即赶回驻地，着手进军的各项准备工作。保北战役后，纵队司令员陈正湘因病休养，不能随军出征，参谋长赵冠英奉命率领兵团先遣队已先期出发，纵队领导只剩下我和副司令员韩伟、政治部主任刘国梁三个同志。遵照兵团易县会议精神，我们三人研究了西进的各项具体准备工作，作了大体分工，便分头下到了部队。全纵队（欠第四旅）上下迅速展开了战前准备。旅、团分别召开了誓师会，动员会，进行了形势教育和诉苦、“挖苦根”教育，在部队中确立“全国胜利在望”的坚定信念和为人民利益而战，不怕艰苦，不怕牺牲，勇于打向敌占区的思想；军事上根据绥远敌军的特点和地理条件，进行了运动战、攻坚战和打骑兵等战术技术训练；根据作战地域物资匾乏的情况，在物资上也作了相应的准备。党中央、毛主席对我西进部队十分关心，特地拨了大量的银元、布匹，并由晋绥区派出大批干部，解决进军中的后勤供应问题。党中央、毛主席的关怀对部队鼓舞极大，使广大干部战士更增强了进军胜利的信心。

九月五日，艰苦的绥远进军开始了。我第二纵队由冀西满城地区出发，向雁北的繁峙、代县一带开进集结。部队为了多带粮弹，每个战士负重都达七八十斤，其中适逢雨季，秋风苦雨连绵不断，道路泥泞难行，不少同志肩上磨出了血，脚上大泡套小泡，有的肿得穿不上鞋，仍然坚持赶队。各级干部发挥模范带头作用，和战士一样负重行军，领导干部把坐骑让给病号，自己和部队一起步行。旅长马龙等亲自挑着伙房的油挑子和战友们进行爬山比赛，与战士们同甘共苦，使大家深受感动。干部战士互相激励，这种群众性的思想政治工作，发挥了很大的作用，大大加快了行军步伐。部队到达集结地域后，三兵团与李井泉政委率领的晋绥军区部队会合一起，在朔县米昔马庄召开了前委会议，听取了先遣队和晋绥区工作团关于绥远敌情、民情、地形等情况的汇报，并就沙盘具体研究了强攻归绥城的作战方案。各部队在朔县城周围日夜不停地进行实弹射击、攻城战斗动作和作战指挥等训练。其时，绥远境内守敌有三个步兵师、一个骑兵旅和独立骑兵团及地方保安部队共四万余人，重点分布于丰镇、集宁、归绥一线，依托其控制的铁路、公路线进行机动防御。据此，杨司令员、李政委决心首先以奔袭手段，坚决勇猛地夺取丰镇、集宁、归绥等要点，以达到控制丰镇至察素齐段之平绥铁路，尔后向绥南、绥北发展。具体部署是：以姚喆率领的晋绥第八纵队并指挥一纵第二旅攻歼集宁之敌；以北岳军区司令员王平率领的北岳部队攻歼丰镇之敌，尔后该两部于集宁、丰镇以东占领有利地形，准备抗击由北平方向来援之敌。第一纵队（欠第二旅）、第六纵队和我第二纵队直逼归绥，准备攻城。

会议以后，我纵向所属部队发布了《攻打归绥紧急动员令》，在部队中明确了进军方向。指战员们个个情绪高昂，决心书、请战书纷纷呈递到各级领导机关，争担主攻任务和登城先锋。行军队伍中不时响起“快走啊，同志们跟上！快追呀，同志们跟上！胜利就在咱们脚上，要咬紧牙关，战胜困难，我们才能打胜仗”的战歌声和简短有力的口号声。行军间隙，部队不顾疲劳，见缝插针，学习党的城市政策、民族政策、宗教政策和我军纪律，熟悉绥远少数民族的风俗习惯。九月十二日，部队越过雁门关，进入塞外雁北山区，山势更加险峻陡峭，道路更加崎岖；接着，穿过金沙滩、东西武城，又进入泥泞陷滩地区，更增加了行军的困难。队伍中不时有人滑倒，许多同志摔得浑身泥水、满脸泥浆，但谁都没有怨言。纵队上下只有一个心愿：按照毛主席的部署，排除万难，勇猛进军，打到归绥去，解放全绥远。