i Juni 1925 henvendte en gruppe Pullman-portører, det helt sorte servicepersonale i Pullman sleeping cars, Randolph og bad ham om at lede deres nye organisation, Brotherhood of Sleeping Car Porters. Randolph var enig. Udover hans blivende interesse i og viden om fagforeninger, Randolph ‘ s primære kvalifikationer til jobbet var hans ry for uforkrænkelighed, og det faktum, at han ikke var en Pullman Selskab medarbejder—hvilket betyder, at selskabet ikke kunne fyre ham eller købe ham ud., I de næste 10 år førte Randolph en hård kampagne for at organisere Pullman-portørerne, hvilket resulterede i certificering af BSCP som den eksklusive kollektive forhandlingsagent for Pullman-portørerne i 1935. Randolph kaldte det den ” første sejr for Negroarbejdere over et stort industrielt selskab.”
Randolph blev den mest kendte talsmand for sorte arbejderklasseinteresser i landet., I December 1940, da præsident Franklin Roosevelt nægtede at udstede en bekendtgørelse, der forbyder forskelsbehandling af sorte arbejdere i forsvarsindustrien, opfordrede Randolph til “10,000 loyale Negroamerikanske borgere” til at marchere mod .ashington, DC-støtten voksede så hurtigt, at han snart opfordrede til 100,000 marchere til at konvergere på hovedstaden., Presset til at gribe ind udstedte præsident Roosevelt en bekendtgørelse den 25. juni 1941, seks dage før marchen skulle finde sted, og erklærede “der skal ikke være nogen forskelsbehandling i ansættelsen af arbejdstagere i forsvarsindustrien eller regeringen på grund af race, tro, farve eller national oprindelse.”Roosevelt oprettede også Fair Employment Practices Commission for at føre tilsyn med ordren.seks år senere, efter vedtagelsen af Selective Service Act fra 1947, krævede Randolph, at regeringen integrerede de væbnede styrker., Han grundlagde ligaen for ikke-voldelig Civil ulydighed mod militær adskillelse og opfordrede unge mænd, både sort og hvid, at “nægte at samarbejde med en Jim Cro.værnepligt tjeneste.”Truet med udbredt civil ulydighed og behov for den sorte stemme i sin genvalgskampagne i 1948 beordrede præsident Harry Truman den 26. juli 1948 en stopper for militær diskrimination” så hurtigt som muligt .,”
Marts på Washington bevægelse og Randolph ‘ s opfordring til civil ulydighed for at ende segregation i de væbnede styrker hjalp med til at overbevise den næste generation af borgerlige rettigheder aktivister, at ikke-voldelige protester og massedemonstrationer var den bedste måde at mobilisere et pres fra offentligheden. Randolph var i denne forstand den sande “far til borgerrettighedsbevægelsen” i USA. Bevægelsen anerkendte sin rolle ved at navngive ham formanden for 1963 Marts på Marchashington, hvor Martin Luther King Jr., holdt sin berømte” Jeg har en drøm ” tale, og ved at følge hans råd om at samarbejde om at holde Marts ikke-voldelig. Randolph blev valgt til vicepræsident for den nyligt fusionerede AFL-CIO i 1955. Han brugte sin position til at presse på for desegregation og respekt for borgerlige rettigheder inden for arbejderbevægelsen såvel som udenfor. Han var en af grundlæggerne af Negro American Labor Council og fungerede som præsident fra 1960 til 1966. I 1964 blev han tildelt Præsidentmedaljen for frihed af præsident Lyndon Johnson.,på pension som præsident for BSCP i 1968 blev Randolph udnævnt til præsident for det nyligt dannede A. Philip Randolph Institute, der blev oprettet for at fremme fagforening i det sorte samfund. Han fortsatte med at tjene på AFL-CIO e .ecutive Council indtil 1974. Han døde i Ne.York den 16. maj 1979.