I juni 1925, en gruppe på Pullman bærere, alt-svart service personalet på Pullman sover biler, nærmet Randolph og ba ham om å lede sin nye organisasjon, the Brotherhood of Sleeping Bil Bærere. Randolph avtalt. Foruten hans vedvarende interesse for og kunnskap om fagforeninger, Randolph primære kvalifisering for det var jobben hans rykte for incorruptibility og det faktum at han ikke var en Pullman medarbeider i Selskapet—noe som betyr at selskapet ikke kunne skyte ham eller kjøpe ham ut., De neste 10 årene, Randolph led-en krevende kampanje for å organisere Pullman bærere, som resulterte i sertifisering av BSCP som eksklusiv kollektive forhandlinger agent på Pullman bærere i 1935. Randolph kalte det «første seier i Negro arbeidstakere over en stor industriell corporation.»
Randolph ble den mest kjente talsmann for svart arbeiderklassens interesser i landet., I desember 1940, med President Franklin Roosevelt å nekte å utstede en ordre som forbyr diskriminering av svarte arbeidere i forsvar, industri, Randolph kalt for «10,000 lojale Negro Amerikanske borgere» til å marsjere mot Washington, D.C. Støtte vokste så raskt som snart ble han kaller for 100.000 demonstrantene for å møtes på kapital., Presset til å ta handling, President Roosevelt utstedt en ordre på juni 25, 1941, seks dager før mars var til å skje, og å erklære at «det skal ikke foregå noen diskriminering i sysselsetting av arbeidstakere i forsvaret bransjer eller regjeringen på grunn av rase, trosbekjennelse, hudfarge, eller nasjonal opprinnelse.»Roosevelt også satt opp Virkelig Sysselsetting Praksis Kommisjon for å overvåke den rekkefølgen.
Seks år senere, etter passering av Selektiv Tjenesten Act av 1947, Randolph krevde at regjeringen integrere de væpnede styrker., Han grunnla League for ikke-voldelig Sivil Ulydighet Mot Militære Segregering og oppfordret unge menn, både svart og hvit, til å «nekte å samarbeide med en Jim Crow verneplikt service.»Truet med omfattende sivil ulydighet, og behov for svart stemme i hans 1948 re-valgkampen, President Harry Truman, den 26. juli 1948, bestilte en stopper for militære diskriminering «så raskt som mulig.,»
Den Marsjen mot Washington bevegelse og Randolph oppfordrer til sivil ulydighet for å avslutte segregering i forsvaret bidro til å overbevise den neste generasjon av sivile rettigheter aktivister som ikke-voldelige protester og massedemonstrasjoner var den beste måten å mobilisere offentlig press. Randolph var, i denne forstand, den sanne «father of the civil rights movement» i Usa. Bevegelsen anerkjent sin rolle ved å navngi ham som styreleder i 1963, Mars på Washington, hvor Martin Luther King Jr., ga sin berømte «jeg Har en Drøm» – tale, og ved å følge hans råd til å samarbeide i å holde mars ikkevoldelig. Randolph ble valgt en vice president for det sammenslåtte AFL-CIO i 1955. Han brukte sin posisjon til å presse på for desegregation og respekt for sivile rettigheter innenfor arbeiderbevegelsen så vel som utenfor. Han var en av grunnleggerne av the Negro American Arbeidskraft Råd og fungerte som landets president fra 1960 til 1966. I 1964 ble han tildelt frihetsmedalje av President Lyndon Johnson.,
trekker seg som president i BSCP i 1968, Randolph ble utnevnt til president for den nylig dannet A. Philip Randolph Institutt, etablert for å fremme handel unionism i det svarte samfunnet. Han fortsatte å tjene på AFL-CIO Executive Council fram til 1974. Han døde i New York City den Mai 16, 1979.