北洋水师正式成军，定海军军制，杨用霖被李鸿章推荐为右翼中营游击。后来李鸿章检阅水师，杨用霖因率部训练有素，被升为参将，赏加副将军衔。

在北洋水师中，杨用霖是一位很有威信的将领，其为人"沉毅勇敢，在营治军，严明有威，而爱抚士兵不啻家人子弟，疾苦劳顿必亲临慰问"。由于他对部属非常关心爱护，大家感戴他，"以故士咸为用"。

黄海之战爆发，时杨用霖在主力铁甲舰"镇远"号上任职，面对日方激烈的炮火，他鼓励部下说："战不必捷，然此海即余死所！"部下感其恩，佩其勇，亦响应曰："公死，吾辈何以为生？赴汤蹈火，惟公所命。"

在他的带领下，全舰将士无不奋力鏖战，战到后半段时，旗舰"定远"中弹起火，烈焰汹腾，向全舰蔓延。杨用霖知事已危，乃抱定必死之信心说："时至矣！吾将以死报国。"他突转"镇远"之舵，挡在"定远"之前，并向敌舰发起攻击，使"定远"得以即时扑灭大火，从容应敌

当时在附近海域"观战"的西方海军人士，皆啧啧称赞道"靡此，而定远殆矣！"战到后来，终于迫使日本联合舰队逃离战场。战后论功，杨用霖得补用副将，被清廷赏加"捷勇巴图鲁"勇号。

黄海战后，"镇远"舰不幸触礁，管带林泰曾自尽，杨用霖升护理左翼总兵兼署"镇远"管带。他竭尽全力率众修复了舰船，恢复了战力，并在后来的战斗中，带领"镇远"舰协同其它舰艇击退日舰的八次进攻。

但是失败已成定局，北洋水师面临崩盘，在走投无路之时，丁汝昌和刘步蟾等最高将领纷纷选择了吞食鸦片自尽，而朝廷却想让杨用霖与日军接洽投降，杨用霖严词拒绝。

在刘公岛一片乞降逃生的凄凉气氛里，杨用霖口诵文天祥的诗句："人生自古谁无死，留取丹心照汗青"，引枪衔口，发弹自击。当部下听到枪声冲入他的住舱时，只见他端坐椅上，头垂胸前，鲜血从鼻孔汨汨地流向胸襟，而枪依然握在手中。