in juni 1925 benaderde een groep Pullman porters, de All-black service staff van de Pullman sleeping cars, Randolph en vroeg hem om hun nieuwe organisatie, de Brotherhood of Sleeping Car Porters, te leiden. Randolph ging akkoord. Naast zijn blijvende interesse in en kennis van vakbonden, Randolph ‘ s primaire kwalificatie voor de baan was zijn reputatie voor onvergankelijkheid en het feit dat hij geen werknemer van Pullman Company was—wat betekent dat het bedrijf hem niet kon ontslaan of afkopen., De volgende 10 jaar leidde Randolph een moeizame campagne om de Pullman porters te organiseren, wat resulteerde in de certificering van de BSCP als de exclusieve collectieve onderhandelaar van de Pullman porters in 1935. Randolph noemde het de ” eerste overwinning van Negerarbeiders op een groot industrieel bedrijf.”
Randolph werd de meest bekende woordvoerder voor zwarte arbeidersbelangen in het land., In december 1940, toen president Franklin Roosevelt weigerde om een executive order uit te vaardigen die discriminatie tegen zwarte arbeiders in de defensie-industrie verbood, riep Randolph op tot “10.000 loyale Negro American citizens” om op te marcheren naar Washington D. C. De Steun groeide zo snel dat hij al snel opriep tot 100.000 demonstranten om samen te komen op de hoofdstad., Onder druk om actie te ondernemen, gaf President Roosevelt een executive order op 25 juni 1941, zes dagen voor de Mars zou plaatsvinden, verklaren “er zal geen discriminatie zijn in de tewerkstelling van werknemers in de defensie-industrie of de overheid vanwege ras, geloof, kleur, of nationale oorsprong.”Roosevelt richtte ook de Fair Employment Practices Commission op om toezicht te houden op de orde.zes jaar later, na de goedkeuring van de Selective Service Act van 1947, eiste Randolph dat de regering de strijdkrachten zou integreren., Hij richtte de League for Nonviolent Civil Disobedience Against Military Segregation op en drong er bij jonge mannen, zowel zwart als blank, op aan om “te weigeren samen te werken met een dienst voor de dienstplicht van Jim Crow.”Bedreigd met wijdverbreide burgerlijke ongehoorzaamheid en de zwarte stem nodig in zijn 1948 herverkiezingscampagne, president Harry Truman op juli 26, 1948, beval een einde aan militaire discriminatie “zo snel mogelijk.,”de March on Washington movement en Randolph’ s oproep tot burgerlijke ongehoorzaamheid om een einde te maken aan de segregatie in het leger hielpen de volgende generatie burgerrechtenactivisten ervan te overtuigen dat geweldloze protesten en massademonstraties de beste manier waren om publieke druk te mobiliseren. Randolph was in deze zin de ware “vader van de burgerrechtenbeweging” in de Verenigde Staten. De beweging erkende zijn rol door hem de voorzitter van de 1963 Mars op Washington, waar Martin Luther King Jr., gaf zijn beroemde” ik heb een droom ” toespraak, en door zijn advies om samen te werken in het houden van de Mars geweldloos. Randolph werd in 1955 verkozen tot vicepresident van de nieuw gefuseerde AFL-CIO. Hij gebruikte zijn positie om aan te dringen op desegregatie en respect voor burgerrechten binnen de arbeidersbeweging en daarbuiten. Hij was een van de oprichters van de Negro American Labor Council en diende als voorzitter van 1960 tot 1966. In 1964 ontving hij de Presidential Medal of Freedom van president Lyndon Johnson.,in 1968 werd Randolph benoemd tot voorzitter van het A. Philip Randolph Institute, dat werd opgericht om het vakbondsmeisje in de zwarte gemeenschap te bevorderen. Hij bleef lid van de AFL-CIO Executive Council tot 1974. Hij overleed in New York City op 16 mei 1979.