确定作战方案之后，憋坏了的多田骏当即命令个军团一级直属部队回去准备，并确定五月初正式向晋南发动全面进攻。
经过十多天的战前准备，数万日军由山东等地调到了山西战场，并且秘密向晋南开进。
当然了，说是秘密，但实际上不管是八路军还是国军方面都有察觉，毕竟这是十多万大军的行动，而不是几十个人，即便是小鬼子想要隐藏队伍也不可能。
只不过大家都在猜测小鬼子这次的目标是谁，是中央军还是晋绥军再或者是八路军，毕竟小鬼子需要针对的目标实在是太多太多了。
在中国军队的观望和戒备中，日军主力抵达了晋南！
5月7日晚间，日军在中条山西部和东部的6个师团又3个旅团合计11万人按计划一齐开始行动，采用分割和作向心攻击。
在西部，敌第41师团和独混第9旅团，发起进攻后，很快即突破第一战区14军、43军、15军的防守阵地，并快速南进，于8日下午即攻占了黄河北岸的垣曲；割断了第5、第14集团军的联系，并与第36、第37师团对第5集团军进行了双重包围，随之开始攻击，守军即退至第二线阵地进行防御。
作战中，第3军、第80军进行了英勇的抵抗，损失严重。
9日晨4时，当敌军已攻至第5集团军司令部所在地夏县以东的马村附近时，曾万钟即率集团军总司令部东移至南涧沟，拂晓接到卫立煌的电话，卫立煌告诉曾万钟，他已派两个团的部队在五福涧以北高地，占领了桥头堡，并征集了10余只渡船，不得已时，各军应逐次南移，在五福涧渡河。
然而令卫立煌等人没有想到的是，就在双方通过电话不久，独立混成第16旅团在9日晨已攻占了五福涧，谷焘所率85师的两个团在该地作战至10日晨，被迫撤回南岸。
第5集团军此时已无法渡河，乃由南涧沟向西北方向突围，结果损失极重，第3军军长唐淮源在极困难中指挥部队战至最后而于5月12日自杀，12师师长寸性奇亦于15日阵亡。
第80军从平陆以东后撤至台寨、师家滩一带时，历经苦战，于11日渡至黄河以南，该军新编第27师师长王竣及副师长梁希贤、参谋长陈文祀等均在作战中牺牲，只有第98军经辗转作战15日突出重围而到达了北面的太岳山区。
第五集团军总司令曾万钟率第3军、15军及94师最后突出重围，向西越过同蒲路南段，渡过汾河、黄河，到达陕西，然后转至洛阳、新安一带。而 93军、第17军亦向西转至稷山和乡宁。
在东部，日军左翼以温县为发起点，先头步兵5000以上，骑兵千余，炮20余门，飞机数十架，战、汽、装甲等车共百余辆，沿黄河北岸突进。
另一股先头2000余人，附炮十余门，于窜陷西向义庄后，继向捏掌、紫陵、东逮寨、留村一带猛扑。
同时，沁河北岸3000余人，以飞机十余架，炮二十余门，强渡沁河。
这些都是隶属于日军第33师团、第21师团以及第35师团的主力，日军在东线的目标是中条山东部刘茂恩第14集团军指挥的4个军又一个师。