kesäkuussa 1925, ryhmä Pullman vahtimestarit, kaikki-musta-palvelun henkilökunta, Pullman makuuvaunut, lähestyi Randolph ja pyysi häntä johtamaan uutta organisaatiota, Brotherhood of Nukkumassa Auton Vahtimestarit. Randolph oli samaa mieltä. Lisäksi hänen pysyvä kiinnostuksensa ja tietoa ammattiliittojen, Randolph on ensisijainen pätevyys tehtävään oli hänen maineensa katoamattomuuden ja se, että hän ei ole Pullman Yrityksen työntekijä—eli yritys ei voisi erottaa häntä tai ostaa hänet pois., Seuraavat 10 vuotta, Randolph johti vaivalloinen kampanjan järjestää Pullman vahtimestarit, joka johti sertifiointi BSCP yksinoikeudella kollektiivista neuvotteluvoimaa agentti Pullman vahtimestarit vuonna 1935. Randolph kutsui sitä ” mustien työntekijöiden ensimmäiseksi voitoksi suuresta teollisuusyrityksestä.”
Randolphista tuli maan tunnetuin mustien työväenluokan etujen puolestapuhuja., Joulukuussa 1940, Presidentti Franklin Roosevelt kieltäytyy antamasta määräys kieltää syrjinnän musta työntekijöiden puolustusteollisuuden, Randolph vaati ”10,000 uskollinen Neekeri Amerikan kansalaisia” maaliskuussa Washington, DC Tuki kasvoi niin nopeasti, että pian hän kutsui 100 000 marssijoiden lähentymässä pääomaa., Painetaan toimia, Presidentti Roosevelt antoi executive order 25. kesäkuuta 1941, kuusi päivää ennen maaliskuuta oli esiintyä, julistaa ”ei saa olla syrjintää työntekijät puolustus teollisuuden tai hallituksen, koska rodun, uskonnon, väri, tai kansallisen alkuperän.”Roosevelt perusti myös fair Employment Practices Commissionin valvomaan järjestystä.
Kuusi vuotta myöhemmin, kun kulkua Selective Service Act of 1947, Randolph vaati, että hallitus sisällyttää asevoimien., Hän perusti liiton Väkivallaton kansalaistottelemattomuus Vastaan Armeijan Erottelu ja kehotti nuoria miehiä, sekä musta ja valkoinen, ”kieltäytyy tekemästä yhteistyötä Jim Crow asevelvollisuus palvelu.”Uhkaa laajaa kansalaistottelemattomuutta ja tarvitsevat mustien hänen 1948 uudelleen vaalikampanjan, Presidentti Harry Truman 26. heinäkuuta 1948, määräsi lopettamaan sotilaallisen syrjintää ”niin nopeasti kuin mahdollista.,”
Maaliskuussa Washington liikkeen ja Randolph on kehotus kansalaistottelemattomuuteen loppuun erottelu puolustusvoimien auttoi vakuuttaa, että seuraavan sukupolven kansalaisoikeudet aktivistien, että rauhanomaiset protestit ja massa mielenosoituksia paras tapa mobilisoida julkista painetta. Randolph oli tässä mielessä todellinen ”kansalaisoikeusliikkeen isä” Yhdysvalloissa. Liike tunnusti hänen roolinsa nimeämällä hänet vuoden 1963 marssin puheenjohtajaksi Washingtonissa, jossa Martin Luther King Jr., piti kuuluisan” Minulla on unelma ” – puheensa ja noudattamalla hänen neuvoaan tehdä yhteistyötä maaliskuun väkivallattoman pitämiseksi. Randolph valittiin vastaperustetun AFL-CIO: n varapresidentiksi vuonna 1955. Hän käytti asemaansa ajaakseen irtautumista ja kansalaisoikeuksien kunnioittamista työväenliikkeen sisällä sekä sen ulkopuolella. Hän oli yksi Negro American Labor Councilin perustajista ja toimi sen puheenjohtajana vuosina 1960-1966. Vuonna 1964 presidentti Lyndon Johnson myönsi hänelle Presidential Medal of Freedomin.,
Eläkkeelle puheenjohtajana BSCP vuonna 1968, Randolph oli nimetty presidentti äskettäin muodostettu A. Philip Randolph-Instituutti, joka on perustettu edistämään kaupan ammattiyhdistysliike musta yhteisö. Hän jatkoi AFL-CIO: n johtokunnassa vuoteen 1974. Hän kuoli New Yorkissa 16. Toukokuuta 1979.