O judô foi introduzido no clube em 1949, filiando-se primeiramente à Federação Paulista de Pugilismo. Em 1958, o Pinheiros participou da fundação da Federação Paulista de Judô e mais tarde da Confederação Brasileira de Judô. Até a inauguração do ginásio atual em 1964, o judô foi praticado em diversos lugares: na sede da rua Dom José de Barros, no clube alemão da Praça Roosevelt, no Instituto Jaguaribe (Santa Cecília) e na antiga casa de barcos.
Logo no início, Arsênio Costa Vasconcellos Martins levantou consecutivamente campeonatos paulistas e brasileiros desde 1949 até 1958. Diretores como José de Barros, Sílvio Silva, Dario Ferraz, Alexandre Alvarez e Edgar Ozon ajudaram a impulsionar a prática desse esporte no Clube. Também contou para o desenvolvimento da modalidade a qualidade de seus técnicos como Seysetsuo Fukaya e João Gonçalves.
A primeira medalha olímpica do Pinheiros na modalidade veio com a prata de Douglas Eduardo Brito Vieira em 1984, Los Angeles. Depois vieram mais três medalhas de bronze: a de Leandro Guilheiro em Pequim, 2008, e de Rafael Carlos da Silva (Baby), em Londres, 2012 e Rio de Janeiro, 2016.
