1957年7月，晋升为陆军二级上将，任金门防卫司令。

1958年8月，任陆军副总司令。

1964年，任驻南越“大使”。

1972年12月，晋升陆军一级上将。

1974年退役。

1977年6月22日，病逝于台北，享年70岁。

1907年11月16日（光绪三十三年十月十一日）生于陕西华州会同坊北会村贫寒农家，12岁进华县高等小学念书，1925年小学毕业后，投国民二军冯子明旅当文书，1925年考取广州黄埔军校，入入伍生总队。1926年3月，军校改名中央军事政治学校，胡被编入第四期步科第一团第七连学习，不久加入中国国民党。

1926年10月，胡在黄埔军校毕业后参加北伐战争，历任国民革命军第二十师排，连长。1928年冬任第十一师第六十一团连长。后在陈诚的第十八军任营长、团长。1929年至1930年，随第十八军参加蒋桂战争、蒋冯战争及中原大战。因作战勇敢，胆识过人，深受陈诚赏识，被升任第十一师营长。

1931年至1934年，跟随陈诚参加对中央革命根据地的第三、四、五次“围剿”，因功于1933年8月升任第十一师第六十六团团长。1935年起，又随罗卓英在浙西南继续进攻红军。

1937年初，淞沪会战爆发后，胡所在的陈诚任军长的十八军第十一师第六十六团开赴上海，同年8月率部参加淞沪会战。胡团奉命守卫上海北面的罗店地区。日军以罗店为突破口，派飞机轰炸、大炮轰击六十六团阵地，施放烟幕弹，以坦克掩护步兵冲击。胡琏组织敢死队，用集束手榴弹炸坦克，又组织机枪火力网封锁日军前进通道。有时组织部队主动出击与敌人进行肉搏战，以杀伤敌人。有时一昼夜打退敌人十几次进攻，顽强地坚守了阵地。

淞沪会战后，胡琏升任第六十七师步兵第一一九旅旅长。第二年胡琏随部挺进苏南开展游击战，重创敌寇。其部四零一团团长邱行湘直捣潥阳、宜兴一带，直逼苏浙边境张渚诸地，使日寇沪宁铁路交通受威胁。

1938年6月，胡琏司令部设在九华山，他亲自到前沿阵地了解情况，发现日寇在江岸各地修碉堡，并有重兵把守。他为了配合海军特种部队在长江布雷，将沿线据点中的敌人引开。一天胡琏指挥部队突然向敌人据点发动攻击，迫使敌人放松对沿江的巡逻。扮成“船夫”“渔民”的海军特种部队乘机在江面布下水雷。一天夜晚，胡琏又派出一支部队向敌人碉堡突击，日寇摸不清中国军队的虚实，不敢出击，海军特种部队又一次在江面布下水雷。在胡琏部和其他部队掩护下，海军特种部队一年内在长江皖赣江面炸沉日军舰船六十余艘。

1939年，胡琏率部开赴湖南，参加第一次长沙会战并升任第十八军第十一师长副师长。1940年参加枣宜会战，同年5月21日，日军第十一军司令官园部和一郎占领襄阳后，经宜城、南漳，直逼宜昌。第十一师奉命从长沙驰援湖北当阳。5月底，十一师在当阳构筑工事完毕，师长方靖在临战会上告诫：“当阳长坂坡，是当年三国时刘备破曹操处，此次战斗倘若当阳失守，宜昌不保，日寇就会将我们窒息西南，国家生死关头到了，我师必须人人做张飞、赵云，使日寇有来无回。”胡琏接着说：“我们就要像当年张翼德大闹长坂坡那样，杀的日本鬼子片甲不留。”

1940年6月9日，日寇向第十一师阵地疯狂进攻，在当阳西北九山子高地，双方反复争夺。胡琏亲率第三十一团增援，同时派另一支小部队抄敌后路，敌怕陷于包围之中，慌忙撤退。方靖、胡琏在当阳与日寇激战一周，重创敌军。后撤至大峡口、风洞河一带抗击日寇。

1941年，调任福建预备第九师师长。1942年，调回第十一师师长。

1943年，率部与日寇争夺石牌要塞作战中取胜，保证了鄂西大捷，因功荣获青天白日勋章，并于7月13日任十八军副军长。同年带职调任军事委员会委员长侍从室高参。

1943年5月25日，在湘鄂边境的日寇占领要隘渔阳关后，渡过清河逼近石牌要塞；日寇第三十九师团主力，在敌酋高木义人率领下，从南面沿长江进犯石牌要塞。

石牌是长江湖北西部的重要江防要塞，若石牌丢失，则日寇可直接窥伺四川，威撼西南。民国政府军事当局认为“石牌要塞是中国的斯大林格勒”，严令部队不惜一切代价守卫石牌要塞。蒋介石曾致电陈诚“石牌要塞应指令一师死守。”重任落在第十八军第十一师胡琏部身上。后几经调度，最终形成了石牌要塞保卫战的指挥系统，沿枝城、长阳、宜昌、秭归、丘峰线的战略防线：八十六军守备枝城聂家河、安春垴、红花套、长岭岗、以及宜昌三斗坪、陈家坝（今秭归境内）为石牌防线左翼；八十六军一部驻守长阳津阳口、偏岩、馒头咀、太史桥、渔洋关（今五峰境内）、资丘一线，是为战略防线之外围右翼；调三十二军驻三斗坪、陈家坝，护防线之左翼；同时调九十四军主力至资丘，重点加强右翼，部署兵力近16万。

胡琏接受任务后，带领全师将士祭拜天地，誓与要塞共存亡，随时准备以身殉国。胡以日寇大炮坦克武器精良，不宜硬拼，只能智取。他根据要塞一带山峦起伏地势险峻的特点，利用有利地形，制敌不擅山地作战之短，抓时机，歼顽敌。他将主力部队隐匿于要塞东南北斗冲一带，只留师机关及一部分兵力防守要塞。1943年5月27日，敌第二十九、第三十四师团一部向北斗冲发起进攻，当敌进至一个群山环抱的山谷时，一声令下，第十一师部队突然从四面八方将敌围住，杀声震天，敌伤亡惨重。

第二天，敌继续进攻，当部队逼近阵地山头时，他指挥部队与敌人拼刺刀，当敌人冲锋后休整和补充时，他组织兵力反击，夺回被敌占领的山头。他采用守攻结合的战法坚守了阵地。第三天，正当战斗方酣之际，第六战区指挥陈诚电话问胡琏“有无把握守住阵地？”胡琏坚定的回答：“成功虽无把握，成仁确有决心。”不过，据时任十八军军部参谋长兼十八师副师长的赵秀昆回忆，胡琏已经暗中准备了逃走的木船。但打出的旗号却又是深获陈诚之心：“十一师是辞公的根基，这样使用实在可惜。”

石牌要塞之战，第十一师歼灭日寇一千余人，使敌军未能占领石牌要塞，保证了鄂西会战的胜利。此役胡琏荣获青天白日勋章，升任第十八军副军长。

1944年，胡奉调至重庆侍从室参军，1944年8月13日出任第十八军军长。

1945年，参加湘西会战。

1945年5月，日军集中六个师团约二十万人的兵力向湘西雪峰山地区进攻，指向湘西芷江空军基地，企图打通湘黔通道，进击贵州。胡琏率第十八军参加了保卫湘西的雪峰山会战。

1945年6月13日，胡率部抵达溆浦后，详细了解了这次战役的计划，战场形势；敌军番号、数量、特点和动向；各友军情况。湘西的六月，气候炎热，加上道路崎岖，将士行军艰难，他根据当地昼热夜凉的特点，让部队中午休息，夜晚加速行军，终于提前到达目的地。立即指挥各师团向日寇据点攻击。十七日黄昏，将日寇进攻湘西的唯一交通线湘黔公路截断，与第四方面军将被围之敌分割歼灭。

1945年6月28日，授少将军衔。1945年8月，日本投降，胡琏第十八军在长沙、衡阳地区接受日军投降。

1946年初，第十八军整编为第十一师，胡琏改任师长。6月26日，国民党军进攻中原解放区，挑起全面内战，胡琏也紧跟蒋介石、陈诚投入反人民的战争。在第三次国内革命战争时期，胡琏在战场上一再败北。同年9月，胡琏所部整编第十一师、邱清泉第五军进攻鲁西解放区。第五军被阻于龙堌集不能前进，整编第十一师则在张凤集被晋冀鲁豫野战军歼灭一个团。是年冬，胡琏整编第十一师及戴之奇整编第六十九师进攻苏北解放区。12月17日，第六十九师被中原野战军包围于苏北宿迁县以北的仁和圩、嶂山镇一带，胡琏见势不妙，迅速龟缩宿迁地区固守。

1947年春，胡琏率部参加国民党军队重点进攻山东解放区。5月3日，整编第十一师被华东野战军包围于新泰地区。尔后，蒋军第三兵团赶来增援，华东野战军乃撤围而去，这样胡琏才逃脱被歼灭的命运。7月，整编第十一师在鲁中的临朐、南麻一带与华东野战军第二、三、七、九纵队进行了激烈的战斗，胡琏因此曾获国民党一级“宝鼎勋章”。这年夏秋，胡琏奉命率部由华东转赴华中，驻兵平汉路南段，并进攻鄂豫皖解放区。是年冬，蒋介石任命胡琏为整编第十八军军长并委以重任，经常要他指挥几个整编师联合作战，被称为“胡琏兵团”。蒋介石对胡琏所部寄予厚望，在内战爆发的两年间先后写了约十封亲笔信给胡琏，希望他能在战场上改观战局，创造“奇迹”。

1948年上半年，人民解放军发动了第一次解放洛阳战役、宛东战役和豫东战役，胡琏所部虽作战频繁，也未能挽回蒋军在这些战役中的失败。同年9月，整编第十八军番号被撤销，胡琏所率部队并入国民党第十二兵团，黄维任该兵团司令，胡琏任兵团副司令。南京国防部授予胡琏陆军中将衔。10月底，胡琏因患牙病以及其父病危离队去武汉。11月25日，第十二兵团被中原野战军包围于皖北双堆集，胡琏曾两次由南京飞入重围，传达蒋介石的“指示”，为部队打气。12月15日第十二兵团突围时被解放军全歼，胡琏因乘战车侥幸突出重围，逃回南京。

1949年2月，胡琏被南京国防部任命为第二编练司令部司令，招集国民党在长江北岸的溃散官兵及在江南补充新兵。4月，人民解放军渡江战役开始后，蒋军第二编练司令部改为第十二兵团，胡琏任兵团司令，他率兵团南窜，9月初撤至广东潮汕地区，尔后又由海上撤往金门。10月末，胡琏第十二兵团及李良荣第二十二兵团在金门岛西北古宁头村阻挠人民解放军登陆金门。12月，他又兼任“福建省主席”。

1950年初，台湾当局将第十二兵团改为“金门防卫军”，胡琏任“金门防卫军司令”。1951年，他又兼“福建反共救国军总指挥”。

1952年10月，胡琏加授陆军上将衔。同时，被选为中国国民党“第七届中央委员”；此后，他连任第八、九、十、十一届中央委员。

1954年夏，胡琏调往台北改任蒋军“第一军团司令”。1957年，他去金门再次出任“金门防卫军司令”。同年7月升任二级陆军上将。

1958年8月23日，人民解放军炮击金门，次日金门蒋军向福建大磴岛轰击，此次金门炮战持续46天。在人民解放军猛烈炮火轰击下，胡琏所部伤亡惨重。同年冬，胡琏被调往台北，任蒋军“陆军副总司令”。

1961年12月入“防务研究院”受训。

1964年至1972年台湾当局派胡琏为“驻越南大使”。1972年12月，胡琏被免职回台北，任“台湾当局领导人幕僚机构”战略顾问，并晋升为一级陆军上将。

他晚年爱好文学和历史，研读典籍，喜读古书，1974年附读台湾大学历史研究所，研究宋史和现代史。著《古宁头作战经过》《泛述古宁头之战》《金门忆旧》和《越南见闻》等书。

1977年6月22 日，胡琏因患心脏病在台北逝世。

根据其生前所立“予尸化灰，海葬大小金门间，魂依莒光楼”的遗言，胡琏骨灰由台北空运金门，灵葬于金门水头湾海面。

金门的中央公路，便以伯玉路命名。另外他在金门建立酒厂生产金门高粱酒，至今仍是县府最大收入来源。

胡琏早年在大陆娶一对姐妹花为妻，姐姐育有三子，分别是胡之光、胡之辉、胡之耀；妹妹育有五女，分别是胡之冰、胡之玉、胡之玲、胡之洁、胡之清。

胡琏在石牌保卫战与日寇决战前的祭天誓词（亦为遗嘱）：

陆军第十一师师长胡琏谨以至诚昭告山川神灵，我今率堂堂之师保卫我祖宗艰苦经营、遗留吾人之土地，名正言顺，鬼伏神钦，决心至坚，誓死不渝！汉贼不两立，古有明训；华夷须严辨，春秋存义。生为军人，死为军魂！后人视今，亦尤今人之视昔。吾何惴焉！今贼来犯，决予痛歼力尽，以身殉之。然吾坚信，苍苍者天，必佑忠诚。吾人于血战之际，胜利即在握，此誓！

中华民国三十二年五月二十七日正午

中国台湾省“刑事局”2012年5月8日晚间证实，失窃的前金防部司令官胡琏获颁的青天白日勋章，已由中国大陆北京公安寻获，并妥善保管。北京公安在一列由厦门开往哈尔滨的火车上逮捕窃嫌。 “刑事局”表示，现北京公安已妥善保存证物，同时台方也会将掌握的监视影带等犯罪事证送交北京公安，并尽快取回这枚青天白日勋章。31日，勋章交由“刑事局”带回。