w czerwcu 1925 r.Grupa tragarzy Pullman, całkowicie Czarni pracownicy obsługi śpiących samochodów Pullman, zwróciła się do Randolpha i poprosiła go o poprowadzenie nowej organizacji, Bractwa tragarzy śpiących samochodów. Randolph się zgodził. Oprócz stałego zainteresowania związkami zawodowymi i wiedzy o nich, główną kwalifikacją Randolpha do tej pracy była jego reputacja za nieprzekupność i fakt, że nie był pracownikiem firmy Pullman – co oznacza, że firma nie mogła go zwolnić ani wykupić., Przez następne 10 lat Randolph prowadził żmudną kampanię mającą na celu zorganizowanie Pullman porters, co zaowocowało certyfikacją BSCP jako wyłącznego agenta rokowań zbiorowych Pullman porters w 1935 roku. Randolph nazwał to ” pierwszym zwycięstwem czarnych robotników nad wielką korporacją przemysłową.”

Randolph stał się najbardziej znanym rzecznikiem interesów czarnej klasy robotniczej w kraju., W grudniu 1940 roku, gdy prezydent Franklin Roosevelt odmówił wydania zarządzenia zakazującego dyskryminacji czarnoskórych pracowników przemysłu obronnego, Randolph wezwał „10,000 lojalnych murzyńskich obywateli amerykańskich” do marszu na Waszyngton, D. C. poparcie wzrosło tak szybko, że wkrótce wezwał 100,000 maszerujących, aby zbiegli się na stolicę., Naciskany na podjęcie działań, prezydent Roosevelt wydał zarządzenie wykonawcze 25 czerwca 1941 roku, sześć dni przed rozpoczęciem marszu, oświadczając: „nie będzie dyskryminacji w zatrudnianiu pracowników przemysłu obronnego lub rządu ze względu na rasę, wyznanie, kolor skóry lub pochodzenie narodowe.- Roosevelt powołał również Komisję ds. uczciwych praktyk zatrudnienia, aby nadzorować porządek.

, Założył Ligę nieposłuszeństwa obywatelskiego przeciwko segregacji wojskowej i wezwał młodych mężczyzn, zarówno czarnych, jak i białych ,aby ” odmówili współpracy ze Służbą poborową Jima Crowa.”Zagrożony powszechnym nieposłuszeństwem obywatelskim i potrzebujący czarnego głosu w kampanii wyborczej w 1948 roku, prezydent Harry Truman 26 lipca 1948 roku, nakazał jak najszybsze zaprzestanie dyskryminacji wojskowej.,”

marsz na Waszyngton i wezwanie Randolpha do obywatelskiego nieposłuszeństwa, aby położyć kres segregacji w Siłach Zbrojnych, pomogły przekonać następne pokolenie działaczy na rzecz Praw Obywatelskich, że bez przemocy protesty i masowe demonstracje są najlepszym sposobem na zmobilizowanie presji publicznej. Randolph był w tym sensie prawdziwym „ojcem Ruchu Praw Obywatelskich” w Stanach Zjednoczonych. Ruch uznał jego rolę, mianując go przewodniczącym marszu na Waszyngton w 1963 roku, na którym Martin Luther King Jr., wygłosił słynne przemówienie „mam sen” i słuchając jego rady o współpracy w utrzymaniu marszu bez przemocy. Randolph został wybrany wiceprezesem nowo połączonej AFL-CIO w 1955 roku. Wykorzystywał swoje stanowisko do forsowania desegregacji i poszanowania praw obywatelskich wewnątrz ruchu robotniczego, jak i na zewnątrz. Był jednym z założycieli Negro American Labor Council i pełnił funkcję jej przewodniczącego w latach 1960-1966. W 1964 został odznaczony Prezydenckim Medalem Wolności przez prezydenta Lyndona Johnsona.,

W 1968 roku Randolph został mianowany prezesem niedawno utworzonego Instytutu A. Philipa Randolpha, powołanego w celu promowania związkowości w czarnej społeczności. Zasiadał w Radzie Wykonawczej AFL-CIO do 1974. Zmarł w Nowym Jorku 16 maja 1979 roku.