仕途开始前，甘霖是一名农学领域专家。1988年7月，她开始在湖南农学院园艺系任助教，此后继续在华中农业大学园艺系攻读博士研究生。1993年底，甘霖在湖南农学院园艺系任教，先后担任讲师、副教授、系副主任。

1996年12月，甘霖先后在英国诺丁汉大学生命科学系和加拿大农业部马铃薯研究中心从事博士后研究。1999年12月，她回到湖南农业大学工作，后任湖南农业大学园艺系教授、博导、系主任。

2001年，甘霖调任湖南省农业厅副厅长，2003年出任湖南省副省长。2011年，甘霖离开湖南，调任国家工商行政管理总局副局长。

2018年，国务院机构改革后成立国家市场监督管理总局，并设反垄断局，商务部的反垄断职能划转至国家市场监管总局。同年，甘霖任国家市场监督管理总局第一副局长，分管反垄断局。从2018年7月起，甘霖还担任国务院反垄断委员会委员兼秘书长。

国家市场监督管理总局成立后，反垄断工作进一步加强。据2018年3月国务院发布的《关于国务院机构改革方案的说明》的介绍，该局“主要职责是负责市场综合监督管理，统一登记市场主体并建立信息公示和共享机制，组织市场监管综合执法工作，承担反垄断统一执法，规范和维护市场秩序，组织实施质量强国战略，负责工业产品质量安全、食品安全、特种设备安全监管，统一管理计量标准、检验检测、认证认可工作等。”