Em junho de 1925, um grupo de carregadores Pullman, a equipe de serviço de todos os negros do Pullman sleeping cars, aproximou-se de Randolph e pediu-lhe para liderar a sua nova organização, a Irmandade dos carregadores de carros adormecidos. O Randolph concordou. Além de seu constante interesse e conhecimento dos sindicatos, a principal qualificação de Randolph para o trabalho era sua reputação de incorruptibilidade e o fato de que ele não era um funcionário da empresa Pullman—o que significa que a empresa não poderia despedi-lo ou comprá-lo., Nos próximos 10 anos, Randolph liderou uma árdua campanha para organizar os porters Pullman, que resultou na certificação do BSCP como o agente exclusivo de negociação coletiva dos porters Pullman em 1935. Randolph chamou-lhe a ” primeira vitória dos trabalhadores negros sobre uma grande empresa industrial.Randolph tornou-se o porta-voz mais conhecido dos interesses da classe trabalhadora negra no país., Em dezembro de 1940, com o Presidente Franklin Roosevelt se recusar a emitir uma ordem executiva proibindo a discriminação contra negros trabalhadores na indústria de defesa, Randolph chamado para “10,000 fiel Negro cidadãos norte-Americanos” a marcha sobre Washington, D.C. Apoio cresceu tão rapidamente que, em breve, ele foi chamado para 100.000 manifestantes de convergir para a capital., Pressionado a tomar medidas, o Presidente Roosevelt emitiu uma ordem executiva em 25 de junho de 1941, seis dias antes da marcha foi a ocorrer, declarando que “não haverá discriminação no emprego dos trabalhadores nas indústrias de defesa ou de governo por causa de raça, credo, cor ou origem nacional.”Roosevelt também criou a Fair Employment Practices Commission para supervisionar a ordem.seis anos depois, após a aprovação da Lei de Serviço Seletivo de 1947, Randolph exigiu que o governo integrasse as forças armadas., Ele fundou a Liga pela desobediência Civil não violenta contra a segregação militar e exortou os jovens, negros e brancos, a “se recusarem a cooperar com um serviço de recrutamento de Jim Crow.”Ameaçado com a desobediência civil generalizada e a necessidade do voto negro em sua campanha de reeleição de 1948, o Presidente Harry Truman em 26 de julho de 1948, ordenou o fim da discriminação militar “o mais rápido possível.,”
A Marcha sobre o movimento de Washington e o apelo de Randolph para a desobediência civil para acabar com a segregação nas Forças Armadas ajudou a convencer a próxima geração de ativistas dos direitos civis que protestos não violentos e manifestações em massa eram a melhor maneira de mobilizar a pressão pública. Randolph foi, nesse sentido, o verdadeiro “pai do movimento dos direitos civis” nos Estados Unidos. O movimento reconheceu seu papel ao nomeá-lo presidente da Marcha de 1963 em Washington, na qual Martin Luther King Jr., fez seu famoso discurso “Eu tenho um sonho”, e ao ouvir seu conselho para cooperar em manter a marcha não violenta. Randolph foi eleito vice-presidente da recém-fundida AFL-CIO em 1955. Ele usou sua posição para pressionar a desagregação e o respeito pelos direitos civis dentro do movimento operário, bem como fora dele. Ele foi um dos fundadores do Negro American Labor Council e serviu como seu presidente de 1960 a 1966. Em 1964 foi condecorado com a Medalha Presidencial da Liberdade pelo Presidente Lyndon Johnson.,aposentado como presidente do BSCP em 1968, Randolph foi nomeado presidente do recém-formado Instituto A. Philip Randolph, criado para promover o sindicalismo na comunidade negra. Ele continuou a servir no Conselho Executivo da AFL-CIO até 1974. Morreu em Nova Iorque em 16 de Maio de 1979.