Im Juni 1925 näherte sich eine Gruppe von Pullman-Trägern, dem allschwarzen Servicepersonal der Pullman-Schlafwagen, Randolph und bat ihn, seine neue Organisation, die Bruderschaft der Schlafwagenträger, zu leiten. Randolph stimmte zu. Neben seinem bleibenden Interesse an und Wissen über Gewerkschaften, Randolph primäre Qualifikation für den Job war sein Ruf für Unbestechlichkeit und die Tatsache, dass er kein Pullman Unternehmen Mitarbeiter war—was bedeutet, das Unternehmen konnte ihn nicht entlassen oder kaufen ihn aus., Für die nächsten 10 Jahre führte Randolph eine mühsame Kampagne zur Organisation der Pullman-Träger durch, die 1935 zur Zertifizierung des BSCP als exklusiver Tarifverhandler der Pullman-Träger führte. Randolph nannte es den “ ersten Sieg der Negerarbeiter über einen großen Industriekonzern.“

Randolph wurde der bekannteste Sprecher der Interessen der schwarzen Arbeiterklasse im Land., Im Dezember 1940, als Präsident Franklin Roosevelt sich weigerte, einen Exekutivbefehl zu erlassen, der die Diskriminierung schwarzer Arbeiter in der Verteidigungsindustrie verbietet, forderte Randolph „10,000 loyale negeramerikanische Bürger“ auf, auf Washington, DC, zu marschieren., Juni 1941, sechs Tage vor dem Marsch, einen Exekutivbefehl erließ und erklärte: „Es darf keine Diskriminierung bei der Beschäftigung von Arbeitnehmern in der Verteidigungsindustrie oder in der Regierung aufgrund von Rasse, Glaubensbekenntnis, Farbe oder nationaler Herkunft geben.“Roosevelt richtete auch die Fair Employment Practices Commission ein, um den Auftrag zu überwachen.

Sechs Jahre später, nach der Verabschiedung des Selective Service Act von 1947, forderte Randolph die Regierung auf, die Streitkräfte zu integrieren., Er gründete die Liga für gewaltfreien zivilen Ungehorsam gegen militärische Segregation und forderte junge Männer, sowohl schwarz als auch weiß, auf, „sich zu weigern, mit einem Jim Crow-Wehrdienst zusammenzuarbeiten.“Präsident Harry Truman, der von weit verbreitetem zivilen Ungehorsam bedroht war und die schwarze Stimme in seinem Wiederwahlkampf von 1948 brauchte, ordnete am 26.,“

Der Marsch auf Washington und Randolphs Aufruf zum zivilen Ungehorsam zur Beendigung der Segregation in den Streitkräften haben dazu beigetragen, die nächste Generation von Bürgerrechtlern davon zu überzeugen, dass gewaltfreie Proteste und Massendemonstrationen der beste Weg sind, um öffentlichen Druck zu mobilisieren. Randolph war in diesem Sinne der wahre „Vater der Bürgerrechtsbewegung“ in den Vereinigten Staaten. Die Bewegung erkannte seine Rolle an, indem sie ihn zum Vorsitzenden des 1963 March on Washington ernannte, bei dem Martin Luther King Jr., gab seine berühmte Rede „Ich habe einen Traum“ und befolgte seinen Rat, bei der Gewaltfreiheit des Marsches mitzuwirken. Randolph wurde 1955 zum Vizepräsidenten des neu fusionierten AFL-CIO gewählt. Er nutzte seine Position, um auf die Desegregation und die Achtung der Bürgerrechte innerhalb der Arbeiterbewegung sowie außerhalb zu drängen. Er war einer der Gründer des Negro American Labor Council und war von 1960 bis 1966 dessen Präsident. 1964 erhielt er von Präsident Lyndon Johnson die Presidential Medal of Freedom.,

Nachdem Randolph 1968 als Präsident der BSCP in den Ruhestand gegangen war, wurde er zum Präsidenten des kürzlich gegründeten A. Philip Randolph Institute ernannt, das zur Förderung des Gewerkschaftertums in der schwarzen Gemeinschaft gegründet wurde. Bis 1974 war er Mitglied des AFL-CIO Executive Council. Mai 1979 in New York City) war ein US-amerikanischer Politiker.