该词发端于抗日战争时期。
1939年，共产党员贺炳炎、余秋里二人奉命到冀中发展抗日人民武装。他们在敌人的眼皮底下活动，经过艰苦的工作，很快组织起一支过硬的部队。这支队伍行动迅速，神出鬼没，打起仗来英勇顽强，让日寇闻风丧胆。因为贺炳炎、余秋里两人都是独臂，所以，敌人称他们是“一把手”的队伍。
当时任师长的贺龙曾提到这件事说：“贺、余两个人都只有一只胳膊，刚来冀中时没几个人，可是他们东一搞，西一搞，就搞出个队伍来。这个队伍打得很硬嘛!敌人一听见‘一把手’的队伍，离老远就吓得溜掉了。”贺龙的这番话是对贺、余两人的充分肯定。
随着时间的推移，现在人们所说的“一把手”，与抗日战争中出现的“一把手的故事”已完全不同了。现在，人们常把领导班子中居于首位的负责人称作“一把手”或“第一把手”。另外，一把手还常指能独当一面的人，如“一把好手”“一把能手”。