i juni 1925, en grupp av Pullman porters, All-black service personal av Pullman sovande bilar, närmade Randolph och bad honom att leda sin nya organisation, broderskapet att sova bil Porters. Randolph gick med på det. Förutom hans bestående intresse för och kunskap om fackföreningar var Randolphs primära kvalifikation för jobbet hans rykte för oförgänglighet och det faktum att han inte var en Pullman—anställd-vilket innebär att företaget inte kunde avskeda honom eller köpa honom., Under de kommande 10 åren ledde Randolph en mödosam kampanj för att organisera Pullman porters, vilket resulterade i certifieringen av BSCP som exklusiv kollektivavtal för Pullman porters 1935. Randolph kallade det ” Negroarbetarnas första seger över ett stort industriföretag.”

Randolph blev den mest kända talesmannen för svarta arbetarklassintressen i landet., I December 1940, med president Franklin Roosevelt vägrar att utfärda en exekutiv order som förbjuder diskriminering av svarta arbetare i försvarsindustrin, Randolph krävde ”10,000 lojala Negro amerikanska medborgare” att marschera på Washington, D. C. stöd växte så snabbt att han snart efterlyste 100,000 marchers att konvergera på huvudstaden., Pressade att vidta åtgärder, utfärdade president Roosevelt en verkställande order den 25 juni 1941, sex dagar innan mars skulle inträffa, förklarar ” det ska inte finnas någon diskriminering i anställning av arbetstagare inom försvarsindustrin eller regeringen på grund av ras, trosbekännelse, färg eller nationellt ursprung.”Roosevelt inrättade också Fair Employment Practices Commission för att övervaka ordern.

sex år senare, efter passagen av Selective Service Act från 1947, krävde Randolph att regeringen integrerade de väpnade styrkorna., Han grundade Förbundet för Ickevåldslig Civil Olydnad Mot Militära Segregation och uppmanade unga män, både svart och vitt, att ”vägra att samarbeta med Jim Crow värnplikt service.”Hotad av utbredd civil olydnad och behövde den svarta omröstningen i sin 1948-omvalskampanj, beordrade president Harry Truman Den 26 juli 1948 ett slut på militär diskriminering” så fort som möjligt.,”

marschen på Washington-rörelsen och Randolphs uppmaning till civil olydnad för att avsluta segregationen i de väpnade styrkorna hjälpte till att övertyga nästa generation av medborgarrättsaktivister om att icke-våldsamma protester och massdemonstrationer var det bästa sättet att mobilisera offentliga påtryckningar. Randolph var i denna mening den sanna ”fadern till medborgarrättsrörelsen” i USA. Rörelsen erkände sin roll genom att namnge honom ordförande 1963 mars på Washington, där Martin Luther King Jr., gav sitt berömda” Jag har en dröm ” tal, och genom att lyssna på hans råd att samarbeta för att hålla mars nonviolent. Randolph valdes till vicepresident för den nyligen sammanslagna AFL-CIO 1955. Han använde sin position för att driva för desegregation och respekt för medborgerliga rättigheter inom arbetarrörelsen såväl som utanför. Han var en av grundarna av Negro American Labor Council och tjänstgjorde som dess president från 1960 till 1966. 1964 tilldelades han presidentens frihetsmedalj av president Lyndon Johnson.,

pension som ordförande för BSCP 1968, Randolph utsågs till ordförande för den nyligen bildade A. Philip Randolph Institute, som inrättades för att främja handel unionism i det svarta samhället. Han fortsatte att tjänstgöra i AFL-CIO: s verkställande råd fram till 1974. Han avled i New York den 16 Maj 1979.