V červnu 1925, skupina Pullman nosiči, all-černá servisní personál Pullman spací vozy, přiblížil Randolph a požádal ho, aby vedl svou novou organizaci, Bratrství Spací Vůz Nosiči. Randolph souhlasil. Navíc jeho trvalý zájem a znalosti odbory, Randolph je základní kvalifikace pro práci, byla jeho pověst pro neporušenost a skutečnost, že on nebyl Pullman zaměstnanec Společnosti—což znamená, že společnost nemůže ho vyhodit nebo si ho koupit., Pro příštích 10 let, Randolph vedl náročnou kampaň organizovat Pullman nosiči, která vyústila v certifikaci BSCP jako výhradní kolektivní vyjednávání agent z Pullman nosiči v roce 1935. Randolph to nazval “ prvním vítězstvím černochů nad velkou průmyslovou společností.“

Randolph se stal nejznámějším mluvčím černošských dělnických zájmů v zemi., V prosinci 1940, se Prezident Franklin Roosevelt odmítá vydat rozkaz o zákazu diskriminace černých pracovníků v oblasti zbrojního průmyslu, Randolph vyzval k „10,000 věrný Černoch, Americké občany“ na pochodu na Washington, d. c. Podpora rostla tak rychle, že brzy volal na 100 000 demonstrantů se sbíhají na hlavní město., Lisované, aby přijaly opatření, Prezident Roosevelt vydal exekutivní příkaz na 25. června, 1941, šest dní předtím, než v březnu mělo dojít, prohlašuje, „že tam nesmí být žádná diskriminace v zaměstnávání pracovníků v obranném průmyslu, nebo vlády z důvodu rasy, vyznání, barvy pleti nebo národnostního původu.“Roosevelt také zřídil Komisi pro spravedlivé pracovní postupy, aby dohlížel na pořádek.

o šest let později, po schválení zákona o selektivní službě z roku 1947, Randolph požadoval, aby vláda začlenila ozbrojené síly., Založil Ligu za nenásilnou občanskou neposlušnost proti vojenské segregaci a vyzval mladé muže, černobílé, aby „odmítli spolupracovat s brannou službou Jim Crow.“Vyhrožoval rozšířenou občanskou neposlušností a potřeboval černý hlas ve své předvolební kampani v roce 1948, prezident Harry Truman 26.července 1948 nařídil co nejrychleji ukončit vojenskou diskriminaci“.,“

Pochod na Washington pohybu a Randolph je volání po občanské neposlušnosti k ukončení segregace v ozbrojených silách, pomohl přesvědčit příští generace občanských práv aktivistů, že nenásilné protesty a masové demonstrace byly nejlepší způsob, jak mobilizovat veřejné tlaku. Randolph byl v tomto smyslu skutečným „otcem hnutí za občanská práva“ ve Spojených státech. Hnutí uznalo jeho roli tím, že ho jmenovalo předsedou března 1963 ve Washingtonu, na kterém Martin Luther King Jr., dal svůj slavný projev“ Mám sen “ a tím, že dbal na jeho radu, aby spolupracoval při udržování pochodu nenásilným. Randolph byl zvolen viceprezidentem nově sloučeného AFL-CIO v roce 1955. Svou pozici využil k prosazování desegregace a respektování občanských práv uvnitř dělnického hnutí i vně. Byl jedním ze zakladatelů černošské Americké rady práce a v letech 1960 až 1966 působil jako její prezident. V roce 1964 mu prezident Lyndon Johnson udělil Prezidentskou medaili Za svobodu.,

do důchodu jako prezident BSCP v roce 1968 byl Randolph jmenován prezidentem nedávno vytvořeného institutu a. Philipa Randolpha, založeného na podpoře odborářství v černé komunitě. Ve Výkonné radě AFL-CIO pokračoval až do roku 1974. Zemřel v New Yorku 16. května 1979.