1940年2月6日，八第二纵队在山西陵川（太南地区）。
1942年6月，纵队番号撤销，部队全部归入冀鲁豫军区。
属于战略区指挥机构（师级），受八路军总部直接指挥，后期纵队兼冀鲁豫军区机关，主力在冀鲁豫根据地作战 。

第一阶段（1940.2–1940.4）

司令员由八路军副参谋长左权兼任
政治委员：黄克诚
统一指挥太南、豫北武装，应对第一次反共高潮，巩固南太行阵地。

下辖第344旅，新编第1旅（韦杰任旅长，唐天际政委），山西青年抗敌决死队第3纵队。河北民军第1旅（朱程部，又称华北抗日民军）， 独立游击支队 。

第二阶段：冀鲁豫时期（1940.4之后，二纵兼冀鲁豫军区）

1940年4月，总部令二纵东进冀鲁豫，与杨得志冀鲁豫支队合编，组建冀鲁豫军区，一套机关两块牌子：八路军第二纵队兼冀鲁豫军区。

司令员：杨得志
政委：黄克诚（前期）；黄南下后政委：崔田民，后苏振华
参谋长：卢绍武
政治部主任：唐亮

1940年5月底重大变动：黄克诚率344旅、新2旅主力南下豫皖苏，开辟华中，这支部队后来发展为八路军第4、第5纵队，皖南事变后编入新四军第3师。留在冀鲁豫的部队继续保留二纵番号。

留在冀鲁豫的二纵序列
新编第3旅
河北民军第1旅
后续鲁西军区并入，增加教导第3旅、教导第7旅、冀中南进支队。
冀鲁豫军区下辖：第1、2、3军分区（直南、豫北、鲁西南） 。

太南组建时约2万余人；
冀鲁豫合编后，二纵主力约1.5万人；
黄克诚带走近万人南下华中，剩余部队在冀鲁豫坚持敌后游击，不断与地方武装合编、精简。
1942年6月，华北精兵简政，八路军第二纵队番号撤销，所属主力与地方武装统一归冀鲁豫军区建制，不再保留纵队指挥机构。

二纵骨干是115师344旅；是连接华北与华中关键部队，黄克诚带二纵主力南下，打通八路军、新四军联系。长期实行纵队兼军区体制，主力部队+地方军分区一体化；和一纵一样，属于战时战略指挥机构，不是固定单一野战兵团，编制随根据地形势多次大调整。

历史