제41대 국무총리. 법조인, 정치인이다. 종교는 개신교이다.

1948년 9월 11일 전라남도 장성군에서 한학자인 김원만의 아들로 태어났다. 광주제일고등학교, 서울대학교 법과대학을 졸업하였다. 최초의 전라남도 출신 국무총리이다.

1972년 제14회 사법시험 합격 후 여러 곳에서 판사로 재직했으며, 2000년 서울고등법원 부장판사, 2004년 광주지방법원장, 2005년 법원행정처 차장을 거쳐 대법관직을 역임하였다.

이명박 대통령이 취임한 후 대법관직을 중도 사직하고 2008년부터 2010년까지 감사원장을, 2010년부터 2012년까지 국무총리를 역임하였다. 현직 대법관이 감사원장으로 임명된 것은 큰 논란이 되었다.

국무총리 재직 시절이던 2012년 민주통합당 설훈 국회의원에게 1977년 긴급조치 9호에 따라 실형을 선고한 것에 미안하다고 사과하였다.

이명박 정부 시절 김태영 국방부장관과 함께 인사청문회를 무사통과한 둘뿐인 사람이었으며, 재임 중 별다른 구설없이 원만하게 국정을 수행했기 때문에, 박근혜 대통령 당선 후 언론에 "김황식 총리같은 사람 없느냐?"는 주문이 공공연하게 나오기도 하였다.

2014년 제6회 전국동시지방선거를 앞두고 서울특별시장 출마를 선언하였다. 그리고 이혜훈, 정몽준과 새누리당 서울특별시장 후보 경선에 출마하였으나 정몽준에게 밀렸다. 같은 해부터 2015년까지 광주 하계 유니버시아드 대회 조직위원회 공동위원장을 역임하였다.

2016년 제20대 국회의원 선거에서 참패한 새누리당에서 혁신위원장직을 제안하였으나, 고사하였다.