A prosztatarákos bokszoló nyolc éve küzdött az Alzheimer-kórral. 1998-ban súlyosbodó memóriazavarai miatt mondott le New York állam sportbizottságának vezetéséről.

Patterson 1952 és 1972 között érte el legnagyobb sikereit, egy döntetlen mellett 55 győzelemmel és 8 vereséggel vonult vissza. Õ volt az első nehézsúlyú öklöző, aki visszaszerezte világbajnoki címét.

Előbb 1956-tól 1959-ig ült a súlycsoport trónján - ekkor ütötte ki őt Ingemar Johansson -, majd 1960-tól 1962-ig birtokolta övét, amelyet végül honfitársa, Sonny Liston vett el tőle.