Nel giugno 1925, un gruppo di facchini Pullman, il personale di servizio tutto nero dei Pullman Sleeping car, si avvicinò a Randolph e gli chiese di guidare la loro nuova organizzazione, la Confraternita dei Facchini dormienti. Randolph era d’accordo. Oltre al suo costante interesse e conoscenza dei sindacati, la qualifica primaria di Randolph per il lavoro era la sua reputazione di incorruttibilità e il fatto che non era un dipendente della Pullman Company, il che significa che la società non poteva licenziarlo o comprarlo., Per i successivi 10 anni, Randolph condusse un’ardua campagna per organizzare i Pullman facchini, che portò alla certificazione del BSCP come agente esclusivo di contrattazione collettiva dei Pullman facchini nel 1935. Randolph la definì la ” prima vittoria dei lavoratori negri su una grande società industriale.”

Randolph divenne il portavoce più noto per gli interessi della classe operaia nera nel paese., Nel dicembre 1940, con il presidente Franklin Roosevelt che si rifiutava di emettere un ordine esecutivo che vietava la discriminazione contro i lavoratori neri nell’industria della difesa, Randolph chiese a “10.000 fedeli cittadini negri americani” di marciare su Washington, D. C. Il sostegno crebbe così rapidamente che presto chiese a 100.000 marciatori di convergere sulla capitale., Pressato ad agire, il presidente Roosevelt emise un ordine esecutivo il 25 giugno 1941, sei giorni prima che si verificasse la marcia, dichiarando “non ci saranno discriminazioni nell’impiego dei lavoratori nelle industrie della difesa o nel governo a causa della razza, del credo, del colore o dell’origine nazionale.”Roosevelt ha anche istituito la Fair Employment Practices Commission per supervisionare l’ordine.

Sei anni dopo, dopo il passaggio del Selective Service Act del 1947, Randolph chiese al governo di integrare le forze armate., Ha fondato la Lega per la disobbedienza civile non violenta contro la segregazione militare e ha esortato i giovani, sia bianchi che neri, a ” rifiutarsi di collaborare con un servizio di coscrizione Jim Crow.”Minacciato di diffusa disobbedienza civile e che aveva bisogno del voto nero nella sua campagna di rielezione del 1948, il presidente Harry Truman il 26 luglio 1948, ordinò la fine della discriminazione militare “il più rapidamente possibile.,”

Il movimento March on Washington e l’appello di Randolph per la disobbedienza civile per porre fine alla segregazione nelle forze armate hanno aiutato a convincere la prossima generazione di attivisti per i diritti civili che le proteste non violente e le manifestazioni di massa erano il modo migliore per mobilitare la pressione pubblica. Randolph era, in questo senso, il vero “padre del movimento per i diritti civili” negli Stati Uniti. Il movimento riconobbe il suo ruolo nominandolo presidente della Marcia su Washington del 1963, alla quale Martin Luther King Jr., ha dato il suo famoso discorso “I Have a Dream”, e dando ascolto al suo consiglio di cooperare per mantenere la marcia non violenta. Randolph è stato eletto vice presidente della nuova fusione AFL-CIO nel 1955. Ha usato la sua posizione per spingere per la desegregazione e il rispetto dei diritti civili all’interno del movimento operaio e all’esterno. Fu uno dei fondatori del Negro American Labor Council e ne fu presidente dal 1960 al 1966. Nel 1964 è stato insignito della Medaglia presidenziale della Libertà dal presidente Lyndon Johnson.,

Ritirandosi come presidente del BSCP in 1968, Randolph è stato nominato presidente del recente formato A. Philip Randolph Institute, istituito per promuovere il sindacalismo nella comunità nera. Ha continuato a servire nel Consiglio esecutivo AFL-CIO fino al 1974. Morì a New York il 16 maggio 1979.