Pomimo nienajwyższego wzrostu Baylor (196 cm) potrafił osiągać rekordową liczbę punktów i zbiórek. Przez całą zawodową karierę (1958-1971) grał w drużynie Lakers - przez dwa pierwsze sezony w Minneapolis, a następnie, po przeprowadzce klubu, w Los Angeles. W pierwszym sezonie został uznany debiutantem roku. Na początku trzeciego pobił rekord ligi NBA, zdobywając 71 punktów w meczu z LA Lakers – New York Knicks.
Dziesięć razy był wybierany do najlepszej piątki ligi w sezonie. W 846 meczach z Lakersami uzyskał średnią 27,4 punktów, 13,5 zbiórek i 4,3 asysty na mecz. Numer 22, jaki nosił na koszulce, został wycofany po zakończeniu przez niego występów na parkiecie. Nie miał szczęścia zdobyć mistrzowskiego tytułu pomimo udziału aż w ośmiu finałach! Jeziorowcy wywalczyli go dopiero w sezonie 1971-72, w którym on pojawił się na parkiecie tylko na początku. Musiał z niego zejść z powodu kontuzji kolana.
W roku 1977 wybrano go do Przedsionka Sławy NBA. W kwietniu 2018 roku odsłonięto jego pomnik przed halą Staples Center, gdzie swoje mecze rozgrywają Lakers. Posąg stanął obok m. in. Magica Johnsona, Kareema Abdul-Jabbara, Shaquille’a O'Neala, hokeisty Wayne’a Gretzky’ego czy boksera Oscara de la Hoya. - Robiłeś pewne rzeczy, których dr J (Julius Erving), Michael Jordan, Kobe (Bryant) i ja nie mogliśmy zrobić - powiedział Magic Johnson podczas tamtej uroczystości. - Po prostu nie mogłem wisieć tak długo w powietrzu.
Elgin Baylor był też trenerem New Orleans Jazz (1976 – 1979), a następnie przez 22 lata jako główny menedżer prowadził inny klub z Miasta Aniołów - LA Clippers.
