제11대, 제31대 국무총리. 호는 운정(雲庭). 박정희의 형인 박상희의 딸 박영옥과 결혼했다. 가야의 시조 김수로왕의 72대손이자 안경공파(安敬公派) 김영정의 22대손이다.

1926년 1월 7일에 충청남도 부여에서 7남 중 5남으로 태어났다. 그의 할아버지 김현택이 부지런해 갑부로 성장하여 가세를 일으켰다. 3대 독자였던 아버지 김상배는 토지측량사를 지냈다. 토지등록 분규 등을 잘 해결해 신망을 얻은 후 규암면장과 부여면장으로 지역사회의 유지가 됐으며, 인텔리였던 아버지는 항일 독립운동가들을 집안에 숨겨주고 돌봐줬다. 의열단 단원인 유석현 등은 1921년 일본 경찰에 쫓기다가 김상배의 집에 피신했다. 어머니 이정훈은 전주이씨로 아버지보다 12살 연하였다.

1947년 서울대학 사범대 교육학부 2년을 수료하고 1948년 육군사관학교 8기로 임관, 주로 참모직을 역임하여 1958년 육군본부 정보참모부 기획과장을 지냈다.

1961년 박정희(朴正熙)가 5.16 군사 정변을 일으킬 당시 중령으로 참여 했다. 1963년까지 초대 중앙정보부장(현 국가정보원장)을 지냈으며, 같은 해 준장으로 예편하여 공화당 창당위원장을 맡았다. 또한 6대 국회의원과 공화당의장직을 지냈으며, 1967년에는 7대 의원에 당선되었으나 1968년 반대세력에 밀려 국회의원직 등 모든 공직에서 물러나 해외로 나갔다.

1970년 공화당 총재 수석상임고문, 1971~73년 공화당 부총재, 1971년 8대 국회의원, 1971년 6월~1975년 12월 국무총리를 지냈다. 그 사이 9대(1973년) 의원을 겸하고 1976년 한일(韓日)의원연맹회장, 1979년 10대 국회의원에 당선되었다.

10.26사건 후 공화당 총재가 되었으나 1980년 신군부에 의해 정치활동이 금지되고 부정축재자로 지목되어 재산환수의 수난을 겪었다. 1987년 공화당을 재건하여 총재가 되면서 대통령 선거에 출마하였으며, 1990년 노태우, 김영삼과 민주자유당(약칭 민자당)을 창당하여 최고위원이 되었으며, 1992년 14대 국회의원에 당선되었다. 같은 해 8월 민자당 대표위원을 지내던 중 1995년 2월 민자당을 탈당하여 자유민주연합을 창당, 총재가 되었다. 2004년에 제17대 총선에서 낙마하고 정계를 은퇴했다.

보국(保國), 근정(勤政), 수교(修交) 훈장, 미국 동성훈장(銅星勳章), 중국 대수보훈장(大綬寶勳章) 등을 받았으며, 저서에 'JP칼럼', 'JP화첩', '새 역사의 고동' 등이 있다.