Po ukończeniu college'u dołączył do armii, gdzie podobnie jak i na uczelni, występował w drużynie koszykarskiej. W 1958 roku dołączył do zespołu Rochester Colonels(ang.) z ligi Eastern Professional Basketball League (poprzedniczka Continental Basketball Association). Zanim drużyna odpadła z ligi Brown wystąpił w ośmiu spotkaniach, notując średnio 13,8 punktu. Miał zadatki na świetnego zawodowca, zdołał także pokazać swój talent w grze obronnej.
Następnie spędził dziewięć lat trenując zespoły szkół średnich - Cranford High School (Cranford, New Jersey) oraz Fair Lawn High School (Fair Lawn, New Jersey). W 1968 roku został asystentem trenera w College of William & Mary[3]. Po roku tę zaczął pełnić tę samą funkcję w Duke University. W 1972 roku trafił do National Basketball Association, gdzie objął stanowisko asystenta w drużynie Milwaukee Bucks, która dwa lata później dotarła do finału NBA[5].
Po rozwiązaniu ligi ABA w 1976 roku związał się z zespołem Atlanta Hawks na kolejne pięć lat[6]. W 1978 roku nagrodzono go tytułem trenera roku NBA[2]. Po rocznej przerwie został trenerem New York Knicks, po raz kolejny na pięć lat[6]. Następnie do trenowania powrócił dopiero po piętnastu latach obejmują stanowisko głównego trenera Memphis Grizzlies[3]. Za swoje osiągnięcia, w prowadzeniu zespołu z miasta Elvisa, został po raz drugi w karierze wyróżniony tytułem trenera roku NBA w 2004[2]. Karierę trenerską zakończył w 2005 roku[6].
Kiedy nie pełnił funkcji trenera zajmował się komentowaniem oraz analizą spotkań NBA dla rozmaitych stacji TV (CBS, ABC, USA, TNT, TBS).