最早的第三集團(tuán)軍番號(hào)屬于閻錫山的晉系軍隊(duì)。1927年，北伐節(jié)節(jié)勝利，山西軍閥閻錫山立即拋棄北洋政府，下令取消北洋政府任命他的督辦名義，改稱晉綏軍總司令，并聲言響應(yīng)北伐。1927年4月25日，武漢國民政府軍事委員會(huì)將晉軍改編為國民革命軍第三集團(tuán)軍，任命閻錫山為總司令。而閻錫山認(rèn)為武漢政府“為共產(chǎn)黨所操縱”，拒絕武漢政府的任命。南京國民政府隨后任命閻錫山為北方國民革命軍總司令，閻錫山欣然接受，并于6月6日在太原宣誓就職。

1928年2月28日，國民政府第42次會(huì)議議決，將晉閻軍改編為國民革命軍第三集團(tuán)軍，閻錫山為總司令。1930年中原大戰(zhàn)失敗后，閻錫山的第三集團(tuán)軍瓦解，所部為張學(xué)良改編。

抗戰(zhàn)全面爆發(fā)后，國民政府于1937年8月20日將全國劃分為5個(gè)戰(zhàn)區(qū)，每個(gè)戰(zhàn)區(qū)下設(shè)若干個(gè)集團(tuán)軍。韓復(fù)榘的第三路軍被改編成第三集團(tuán)軍，隸屬第五戰(zhàn)區(qū)，負(fù)責(zé)山東南部及江蘇一部的戰(zhàn)斗，戰(zhàn)區(qū)司令長官由蔣介石兼任（后李宗仁）。首任集團(tuán)軍總司令為韓復(fù)榘、副總司令為于學(xué)忠和沈鴻烈，下轄第12軍、第55軍、第56軍和第51軍，其中孫桐萱為軍長的第12軍、谷良民為軍長的第56軍和曹福林為軍長的第55軍為韓復(fù)榘的部隊(duì)，51軍則是前東北軍的部隊(duì)。

1938年初，韓復(fù)榘被國民政府軍事委員會(huì)下令處決，于學(xué)忠繼任該集團(tuán)軍總司令。第三集團(tuán)軍曾參加臺(tái)兒莊會(huì)戰(zhàn)外圍作戰(zhàn)，第51軍第114師師長方叔洪、第102師第306旅旅長扈先梅均在作戰(zhàn)中陣亡殉國。前敵總指揮兼55軍軍長曹福林以56軍軍長谷良民作戰(zhàn)不力，率先失守河防陣地，導(dǎo)致全線崩潰為由，逼迫孫桐萱撤銷了56軍番號(hào)，谷良民被迫離開軍界去重慶經(jīng)商，所部22師并入12軍，74師并入55軍。

1938年夏，第三集團(tuán)軍調(diào)歸第九戰(zhàn)區(qū)指揮管轄，于學(xué)忠改任第五集團(tuán)軍總司令，孫桐萱被任命為集團(tuán)軍總司令，但因第56軍番號(hào)撤銷(其第22師編入第12軍，第74師編入第55軍)，而第55軍加入第二集團(tuán)軍，第51軍加入第三十一集團(tuán)軍，僅轄第12軍，后第三集團(tuán)軍在江西參加武漢會(huì)戰(zhàn)。

1939年初，第三集團(tuán)軍調(diào)歸第一戰(zhàn)區(qū)指揮管轄，自此長期駐守河南。由于國民黨政府對(duì)韓復(fù)榘舊部采取限制、分化的政策，1939年7月，55軍轉(zhuǎn)隸張自忠第三十三集團(tuán)軍，曹福林仍兼第三集團(tuán)軍副總司令、第55軍軍長。至1943年夏，第三集團(tuán)軍只轄有第12軍的第20師、第22師、第81師。

孫桐萱被扣押之后，第3集團(tuán)軍被撤，其基本部隊(duì)第12軍被收編。湯恩伯將營以上軍官大部分進(jìn)行了撤換，賀粹之擔(dān)任軍長，只轄第22和81兩個(gè)師。不久12軍番號(hào)撤銷，12軍下轄的22師、81師撥歸曹福林的55軍，55軍成為4師制的加強(qiáng)軍。

第三集團(tuán)軍的番號(hào)也曾一度恢復(fù)，被轉(zhuǎn)給了國民黨中央軍嫡系胡宗南所控制的第八戰(zhàn)區(qū)的部隊(duì)，集團(tuán)軍總部設(shè)在甘肅武威，總司令為胡宗南的老部下李鐵軍，下轄第91軍的暫58師、騎10師、新編第4師等部，李鐵軍調(diào)任國民革命軍第二十九集團(tuán)軍總司令后，集團(tuán)軍總司令名義上由第四集團(tuán)軍第38軍軍長趙壽山繼任，但實(shí)權(quán)控制在副總司令于達(dá)手中。1946年8月被國民黨當(dāng)局撤銷了第三集團(tuán)軍總司令職務(wù)，剝奪了趙的兵權(quán)。

抗戰(zhàn)后，國民黨軍實(shí)行整編，大部分集團(tuán)軍取消，其余的集團(tuán)軍被改為整編軍，下轄若干整編師。原第三集團(tuán)軍第22和81兩個(gè)師被縮編為整編81旅，并入劉汝明的第四綏靖區(qū)整編68師，后來又恢復(fù)為68軍81師。

解放戰(zhàn)爭期間，原第三集團(tuán)軍曹福林的55軍（整編第55師）被解放軍打得一敗涂地，解放軍發(fā)起渡江戰(zhàn)役時(shí)，55軍殘部棄陣而逃，退往臺(tái)灣后番號(hào)被撤銷。在劉汝明撤往福建時(shí)，其68軍81師在師長葛開祥率領(lǐng)下起義，副軍長王振聲和參謀長杜允中也隨同起義。