隋开皇(公元581—600年)年间,皇甫绩升任晋州刺史。当时国家尚未统一,皇甫绩一心想着图报国恩。将要辞京上任时,他向隋文帝献计道:“现在南朝陈国尚存,以我之见,有三点理由可灭陈。”隋文帝问其原因,皇甫绩详细分析双方形势说:“一是:我国力量强大而陈国弱小;二是:我们正义有道而陈国无道;三是:我们招纳了叛臣萧崖,了解陈国实情。如果皇上能派骁勇之将攻打陈国,我请求从军征战,报效朝廷。”隋文帝听后,大为赏识,认为分析得很透彻有道理,隋灭陈的时机已到,不能坐失良机。开皇八年(公元588年),隋发重兵讨伐陈国,皇甫绩也从军征战。第二年,隋军果然灭了陈国,统一了全国。隋文帝以皇甫绩献计有功,封他为苏州刺史。