Gołąb był zawodnikiem Cracovii w latach 1951-1960. W tym czasie stanowił jej filar i był bardzo istotnym elementem klubu. W lidze największy sukces piłkarz odniósł w 1952 roku, kiedy wraz z krakowską ekipą zgarnął brązowe medale mistrzostw Polski. Dotarł także z drużyną z Małopolski do finału Pucharu Ligi. W obu przypadkach mógł zatem pozostać niedosyt, że ne udało się osiągnąć czegoś więcej - największe triumfy były blisko.
Gołąb po pożegnaniu się z Cracovią występował jeszcze w Tarnovii Tarnów. Po trzech latach w tarnowieckiej drużynie zdecydował się zakończyć karierę - miało to miejsce w 1963 roku.
"Józef Gołąb na zawsze zostanie w naszej pamięci" - podkresliła Cracovia.