毕业之后，他被分配到广东汕头地区，对抗的最前线。随后又重回部队，担任副师长一职，1971年时他再次获得进修机会，前往北京军事科学院学习，而在毕业回到原部队之后，此时的中国可谓是处境堪忧。

由于与苏联交恶，苏联也试图构筑一个包围圈，从北部边境到我国南部边境的中南半岛地区试图包围中国。无疑，此时的越南也意识到了自己在其中的重要性，“农夫与蛇”的故事在国家利益面前重现。

越南也在与苏联达成协议之后，屡次犯边。而作为53214部队副师长，一个接受了现代化高级指挥教学的指战员，他自然心有不甘。终于，正如那句“犯我强汉者，虽远必诛”一样，我国决意反击。1979年2月17日至3月16日，短短的1个多月间56万军伍便剑锋所指、所向披靡。赵连玉所在的126师也赫然在列，作为一个经验丰富的指战员，他凭借自己对战场的熟知，也冲在了部队的最前线。

在战争中，他率领主力团采用迂回战术使得越军顾此失彼，损失惨重。而在1979年3月5日，攻克高平地区之后，得到了预期作战效果的我军，也决意撤退。为了保证我军撤退的安全，赵连玉亲自率领376团、377团以战求和循序撤退，但是当部队行至班瑙地区之时，由于此地多热带雨林、高山峡谷，显然是一处极易遭受埋伏的地域。出于安全考虑，赵连玉做出绕道的决策，此举既可以避免被埋伏，还可以以有利地形打击敌军后方。

可就在勘察地形、布置作战方案之时，一声枪响竟直击赵连玉的脖颈之处。虽然在场的参谋长赖裕隆果断下令众人 卧倒，寻找掩体，并命人保护赵连玉师长，但由于脖颈乃是大动脉所在，赵连玉师长甚至未能再言语一句，便英勇牺牲了。众人也只得强忍悲伤，将赵连玉的遗体妥善运到指挥部。对于赵师长的牺牲，也彻底激发了126师的情绪，在炮兵部队进行轰击之后，对盘踞班瑙地区的越南游击队进行了彻底的清剿，并且抓获了狙杀赵师长的凶手。