1925 júniusában a Pullman hordozók egy csoportja, a Pullman alvó autók fekete szolgálati személyzete, megkereste Randolphot, és felkérte őt, hogy vezesse új szervezetüket, a Sleeping Car hordozók testvériségét. Randolph beleegyezett. A szakszervezetek iránti töretlen érdeklődése és tudása mellett Randolph előminősítése is az ő hírneve volt, hogy nem volt Pullman cég alkalmazottja-vagyis a cég nem rúghatta ki,és nem is vehette le., A következő 10 évben Randolph fáradságos kampányt vezetett a Pullman hordozók megszervezésére, ami a BSCP tanúsítását eredményezte, mint a Pullman hordozók kizárólagos kollektív alkuügynökét 1935-ben. Randolph ” a Néger munkavállalók első győzelmének nevezte egy nagy ipari vállalat felett.”

Randolph az ország fekete munkásosztályának legismertebb szószólója lett., A December 1940, Elnök, Franklin Roosevelt elutasítják egy kormányrendelet betiltása elleni diszkrimináció fekete munkások a védelmi ipar, Randolph úgynevezett “10,000 hűséges Néger Amerikai polgár”, hogy március a Washington Támogatja nőtt olyan gyorsan, hogy hamarosan hívott 100.000 tüntetők, hogy mindenki a fővárosban., A cselekvésre sürgetve Roosevelt elnök 1941.június 25-én, hat nappal a felvonulás előtt kiadott végrehajtási rendeletet, kijelentve, hogy “a védelmi iparágakban vagy a kormányban a munkavállalók foglalkoztatásában nem lehet hátrányos megkülönböztetés a faj, hitvallás, szín vagy nemzeti származás miatt.”Roosevelt létrehozta a tisztességes foglalkoztatási gyakorlatok bizottságát is, hogy felügyelje a rendet.

hat évvel később, az 1947-es szelektív szolgálati törvény elfogadása után Randolph követelte, hogy a kormány integrálja a fegyveres erőket., Ő alapította a Liga erőszakmentes polgári engedetlenség ellen katonai szegregáció és sürgette a fiatal férfiak, mind a fekete-fehér, hogy “nem hajlandó együttműködni a Jim Crow sorozás szolgáltatás.”Az 1948-as újraválasztási kampányában széles körű polgári engedetlenséggel fenyegetett és fekete szavazásra volt szüksége, Harry Truman elnök 1948.július 26-án elrendelte a katonai megkülönböztetés mielőbbi megszüntetését”.,”

Az Márciusában Washingtonban mozgalom Randolph fel azt, hogy a polgári engedetlenség végén szegregáció a fegyveres erők segített meggyőzni a következő generációs polgári jogi aktivisták, hogy az erőszakos tüntetések tömeges tüntetések voltak a legjobb módja annak, hogy mozgósítsa a közvéleményre. Randolph ebben az értelemben az Egyesült Államokban az igazi “polgári jogi mozgalom atyja” volt. A mozgalom felismerte szerepét azáltal, hogy az 1963-as washingtoni március elnökévé nevezte el, amelyen Martin Luther King Jr., híres” van egy álmom ” beszédét adta, és azzal, hogy megfogadta a tanácsát, hogy működjön együtt a márciusi erőszakmentesség megtartásában. Randolphot 1955-ben az újonnan egyesült AFL-CIO alelnökévé választották. Álláspontját arra használta fel, hogy a munkásmozgalomon belül és kívül is szorgalmazza a dezegregációt és a polgári jogok tiszteletben tartását. 1960-tól 1966-ig a Néger Amerikai Munkaügyi Tanács egyik alapítója volt. 1964-ben Lyndon Johnson elnök Elnöki Szabadság Érdemrenddel tüntette ki.,

1968-ban nyugdíjba vonult a BSCP elnökeként, Randolphot a közelmúltban alakult A. Philip Randolph Intézet elnökévé nevezték ki, amelyet a fekete közösség Szakszervezetének előmozdítására hoztak létre. 1974-ig az AFL-CIO végrehajtó Tanácsában szolgált. 1979.május 16-án halt meg New Yorkban.