Józef Grudzień boksował w wadze lekkiej. Pierwszy znaczący sukces odniósł w 1963 roku w Moskwie, gdzie dotarł do ćwierćfinału Mistrzostw Europy. Rok później w Tokio został mistrzem olimpijskim, pokonując w finale Rosjanina Wiliktona Barannikowa. W 1965 roku przegrał finał ME w Berlinie, ale dwa lata później zdobył już złoty medal na imprezie rozgrywanej w Rzymie. Następnie zgarnął olimpijskie srebro w Meksyku. Był trzykrotnym mistrzem Polski (1965, 1967 i 1968).
W ostatnich latach swojego życia działał w Polskim Komitecie Olimpijskim, a także angażował się politycznie.
Zmarł 17 czerwca 2017 roku w wieku 78 lat.