1930年，张劲夫入陶行知创办的南京晓庄学校。1931年后，参加编辑《生活教育》杂志，九一八事变后参与宣传抗日救亡。1932年冬，至上海郊区大场山海工学团担任教师，后来升任团长（即校长）。1934年，加入中国共产党的外围组织“新兴教育工作者联盟”（又称左翼教育工作者联盟）。1935年12月，经王洞若介绍，加入中国共产党。历任上海国难教育社中共总党团委员、中共战地服务团特别支部委员。

1937年抗日战争爆发后，同年10月张劲夫领导上海战地服务团在卢汉部滇军宣传抗日救国。日军占领上海后，率领战地服务团转至上海市郊打游击。不久，奉调至中共江苏省委军委机关任职。1938年初，撤到武汉。同年4月，任中共安徽省工作委员会常务委员兼宣传部部长。1939年5月，任新四军江北指挥部政治部副主任，并且担任中共鄂豫皖区党委常务委员兼民运部部长。1940年1月，任中共皖东津浦路东省委书记，兼新四军第五支队政治部主任。参加领导创建了津浦路东抗日根据地。1941年1月皖南事变后，张劲夫任新四军第二师政治部副主任。1942年2月起，张劲夫担任新四军第二师四旅政治委员，兼中共淮南区党委宣传部部长。率部在淮南开展敌后抗日游击战。

第二次国共内战时期，张劲夫历任中共鲁南第二地委书记兼鲁南军区第二军分区政治委员，鲁中南行政公署副主任。1949年夏，张劲夫随部队南下，担任中共浙江省杭州市委副书记兼杭州市副市长。参加了华东解放战争。

中华人民共和国成立后，张劲夫历任中共浙江省委常务委员兼浙江省人民政府财政经济委员会主任，华东军政委员会财政经济委员会副主任，中华人民共和国地方工业部副部长，中国科学院副院长，国家科学技术委员会副主任等职务。1956年至1967年，任中国科学院党组书记、副院长，主持中国科学院日常工作，任内组织中国科学院的科技工作者参加“两弹一星”的研制工作。

1975年起，张劲夫历任中华人民共和国财政部部长，中共安徽省委第一书记、安徽省省长，并且兼任安徽省军区第一政治委员。1982年起，任中华人民共和国国务院国务委员兼国家经济委员会主任。

张劲夫是中共第八届候补中央委员、第十一、十二届中央委员，第三、四届全国政协常务委员。在中共十三大上，张劲夫当选为中央顾问委员会常务委员。