北魏孝明帝正光五年(公元524年),于谨以长流参军的身份,随行台广阳王元深镇压北魏西北边境如火如荼的农民起义。与农民军一年多的战斗中,双方互有胜负,而于谨表现突出,深受元深的嘉奖和器重。
于谨为人机警,长于谋略。正光六年(公元525年),农民起义军势力日趋壮大,战场上官兵常常处于劣势。这时,于谨心生一计,他认为堡垒最容易从内部攻破。建议分化起义军,从而瓦解击溃他们。他向元深献策说:“自正光(公元520—525年)以来,国家政局混乱,生产凋零,贼寇(指农民军)此起彼伏,朝廷虽大力征伐,收效甚微。这样去靠武力征服,恐怕不是最好的办法。我虽智力低微,愿借大王盛威,向贼寇阐明利害,晓谕祸福,说服他们归顺。这样,既可免除征战之苦,又能从根本上消除祸患,稳定局势。”元深也觉得用武力功效不佳,同意了于谨的建议。于谨通晓许多少数民族的语言,于是他单人独骑奔赴起义军。果然,于谨凭着软硬兼施,成功地说服了西部铁勒族首领乜烈河等前来归降。但破六韩拔陵领导的起义军不受招安,仍然十分活跃。这支军队起义最早,势力最强。乜烈河款附以后,带领3万多户人家相继南迁。广阳王元深准备同于谨前往迎接,于谨别出心裁,又殷勤献计。他说:“破六韩拔陵不肯归附,他兵力强盛,听说乜烈河归降南迁,必将从中截击。如果让他先占据险要关隘,我们就很难与他抗衡。我们姑且不问乜烈河,相反,利用他们作为诱耳,让破六韩拔陵上勾,引军出击。这样,我们便可以在险要处事先设下埋伏,等到拔陵得胜回军之际,突然出击,必能大获全胜。”元深非常佩服于谨的谋划,至于赔上乜烈河,正符合他的用心。拔陵果然上当,截击了乜烈河,并将他彻底击溃。可是,当他得胜回军之时,正中于谨的埋伏,被杀得大败,所获乜烈河降兵,全被于谨收获。拔陵遭此挫折,元气大伤,不久竟被于谨彻底战败,20多万士卒,杀的杀、降的降,全军覆没。