抗战结束以来，陈毅，粟裕所处的山东，苏中，苏北等华东地区一直处在国民党军的重点打击下，这里距离当时国民党的政治，经济统治中心都太近了，所以一直遭到国民党军的重点进攻。
虽然形势一直都十分严峻，但是在陈毅，粟裕的指挥下，华东各部队打了很多经典战役，逐渐发展壮大。1946年12月，徐州“绥靖”公署主任薛岳指挥25个半旅，分4路向苏北进攻，企图消灭集结于峄县以东和盐城、涟水地区的山东、华中两野战军主力。
陈毅，粟裕率领山东野战军第1、第2纵队和第8、第7师（欠第19旅）及华中野战军第9纵队等部共24个团，对驻守在宿迁的国民党军整编69师展开进攻，以伤亡8000余人的代价，歼敌2.1万人，其中俘虏敌人1.3万人，取得了一次歼敌三个半旅的重大胜利，这也是山东野战军和华中野战军会师之后的第一场大胜仗。
解放军在进行宿北战役的同时，陈诚飞到徐州，和薛岳研究作战方案，他们仍然坚持进攻鲁南的既定方针。薛岳趁华野在鲁南的兵力空虚，派马励武率领的国民党军整编第26师及第1快速纵队向山东临沂发动进攻。
整编26师中将师长马励武毕业于黄埔一期，由于对装甲作战颇有研究，被称之为中国的古德里安。马励武的整编26师是全美械部队，也是进攻临沂的主力部队，这支部队一直打到峄县以东的向城，尚岩，傅山口一带。
整编26师的左翼，整编51师在枣庄，齐村一带，整编26师的右翼整编第77师，整编第59师行进到了台儿庄以东地区。之所以派整编26师打头阵，是因为这支部队的坦克，大炮的数量很多，再加上第一快速纵队的坦克，大炮数量，火力十分强大，薛岳想在鲁南发挥其强大的突击能力，以快速占领山东解放区首府临沂。
宿北战役，马励武看到华野在短短几天内把整编69师给歼灭了，还击毙了整编69师师长戴之奇，不由得心里一惊。他看到自己左右两翼的部队还落在后面，立刻命令部队停止前进，以防步戴之奇的后尘。薛岳看到马励武停下了，立刻命令他继续东进，马励武不敢独自行动，但是又不敢不听薛岳的命令，于是命令小股部队进行试探性的侦查活动，侦查华野的动向，但是主力依然呆在原地不动。
马励武手下当时还有第一快速纵队，这支部队是国民党军中少有的机械化部队。1942年抗战期间，蒋介石号召知识青年从军，在昆明组建了国民党军的一支坦克部队—坦克一营，并派了一个营去印度接受美军的训练，在后来的第二次缅北反攻中，这支部队给日军造成了重创。
抗战胜利后，蒋介石用缴获的日军轻型坦克组成了两个团，然后和坦克一营合编为第一快速纵队，蒋介石的次子蒋纬国担任第一快速纵队司令，但是蒋纬国由于身份特殊，并不亲临前线，一直呆在徐州。第一快速纵队下辖一个炮兵团，一个坦克团，一个汽车团，一个工兵营，一个搜索营，其中坦克有36辆，装备非常好，所以这些国民党军根本就不把土八路放在眼里。
1949年12月23日，陈毅，粟裕坚定了歼灭鲁南之敌的决心，于是立刻命令部队向鲁南地区进行集结。12月30日，陈毅，粟裕主持召开各纵队，师级干部开会，做出了鲁南战役的相关部署。
1月1日，华野各部队进入到指定集结区域，粟裕开始命令部队破坏道路，桥梁，阻挡整编26师机械化部队的行动。马励武本来以为华野会在12月30日，31日进攻，但连续几天都相安无事，让他放松了警惕，于是他把部队扔给副师长和参谋长，自己跑到峄县县城里过年去了。
粟裕得知马励武去峄县过年了，十分高兴，1947年1月2日晚上十点，粟裕果断下令各部队发起进攻。马励武本来是想返回部队的，但是很快就遭到了解放军的袭击，又退回了峄县县城里。
1月3日上午，华野就完成了对整编26师各部的分割包围，3日夜，华野对整编26师发动全面进攻。4日凌晨，第1快速纵队及整编第26师余部以坦克开路向峄县方面突围，但此时天上突然下起了雨夹雪，国民党军的飞机受天气影响都飞不起来了，粟裕感叹道：“这是老天爷在帮我们的忙，雨雪交加，道路泥泞，会把重型装备都陷在里面，敌人就更难以逃脱了。”
受到雨雪天气的影响，道路变得泥泞不堪，国民党军的坦克，卡车，重炮都拥挤在了泥沼里，混乱不堪，我军各部队猛虎下山一般，向敌人发动进攻。国民党军整编26师，第一快速纵队等部队纷纷逃窜，快速纵队第239团团长陈维金看到无力回天后，吹响集结号，将全团官兵集结在一起，把所有的武器和卡车都擦拭的干干净净，全团向解放军投降。
战役进行到4日下午三点，国民党军26师44旅，169旅全部，第一快速纵队战车营，运输团，以及第80旅两个步兵团共三万多人被我军围歼，缴获坦克24辆，美式重炮数十门，卡车200多辆。1月10日，华野打进峄县县城内，到11日，我军又歼灭整编第51师第114旅一部、整编第52师第98团及整编第26师后方机关、保安团队等共7000余人，俘整编第26师师长马励武。
此役历时19天，山东野战军和华东野战军伤亡8000余人，共歼国民党军5.3万余人，其中俘虏3.6万人，缴获坦克24辆、各种火炮200余门、汽车474辆，首创华东战场人民解放军一次歼灭国民党军2个整编师和1个快速纵队的纪录。由于缴获的坦克大炮实在是太多，华野没办法组建了特种兵纵队，陈锐霆担任司令员。
战斗结束后，一个刚被编入解放军的国民党军士兵对解放军说：“卡车拉的重炮，这次战斗一炮都没打，留送到解放军手里了。”国民党军的坦克驾驶员在坦克里加大马力，把坦克从泥潭里开出来，后面才有20多名解放的战士帮忙往出拉。
陈毅，粟裕到战场上看到战士，民工正在帮忙把炮弹运到卡车上，就连吉普车也都装满了大米和美国罐头，饼干，糖果之类的食物，被俘虏的开车司机，坦克驾驶员，炮兵也都加入了华野的特种兵纵队。