唐玄宗天宝八年(公元759年)间,玄宗曾下令天下有一技之长的人士可以到朝廷任职。李林甫害怕这样也许会影响他的地位,立即上奏说:“在民间没有任职的人不知朝中禁忌,白白用狂言扰乱圣听,请全部委派尚书省长官试问。”派御史中丞监督,没有一个被选中。林甫因此祝贺皇上,认为民间没有遗漏人才。
玄宗曾经在勤政楼大摆乐器,叫人奏乐,结束后,兵部侍郎卢绚扣紧马缰,让马慢步前行,跨过道路离开,玄宗喜欢他宽容含蓄,赞美了他,第二天,林甫召卢绚的儿子说:“尊府往日的名望,皇上准备任命去交州、广州,如果害怕远行,就应当去请求年老退休。”卢绚害怕,只是服从,因此出任华州(今陕西华县)刺史,不久授予太子员外詹事、卢绚于是废去不用。
天宝十年(公元761年),林甫兼任安西大都护,朔方节度,不久又兼单于副大都护。十一年(公元762年),因为朔方副使李献忠反叛,让出节度,推荐安思顺代替自己。从贞观以来,蕃将像阿史那社尔、契苾何力等都是忠孝又有才略,但不委任大将的职位,都是大臣领受此职来控制他们。但开元年间,张嘉贞、王晙、张说、萧嵩、杜暹都是从节度使入内掌握政事,林甫为了巩固自己的地位,立志想断绝将军入相的来源,于是曾经上奏说:“文人为将,害怕抵挡箭石,不用如寒族、蕃人,蕃人善于打仗又有勇气,寒族就没有后台撑腰。”玄宗认为对,于是用安思顺代替林甫任节度使。从此高仙芝、哥舒翰都委任大将,林甫利用他们不识文字,没有入相的理由,然而安禄山竟因此能作乱,就是得到大将之职的缘故。