en junio de 1925, un grupo de porteros Pullman, el personal de servicio totalmente negro de los coches-cama Pullman, se acercó a Randolph y le pidió que liderara su nueva organización, la Hermandad de porteros de coches-cama. Randolph estuvo de acuerdo. Además de su permanente interés y conocimiento de los sindicatos, la calificación principal de Randolph para el trabajo era su reputación de incorruptibilidad y el hecho de que no era un empleado de la Compañía Pullman, lo que significa que la compañía no podía despedirlo ni comprarlo., Durante los siguientes 10 años, Randolph dirigió una ardua campaña para organizar a los porteros Pullman, lo que resultó en la certificación de la BSCP como el agente exclusivo de negociación colectiva de los porteros Pullman en 1935. Randolph lo llamó la » primera victoria de los trabajadores negros sobre una gran corporación industrial.»
Randolph se convirtió en el portavoz más conocido de los intereses de la clase obrera negra en el país., En diciembre de 1940, cuando el presidente Franklin Roosevelt se negó a emitir una orden ejecutiva que prohibiera la discriminación contra los trabajadores negros en la industria de defensa, Randolph llamó a «10.000 ciudadanos negros estadounidenses leales» a marchar sobre Washington, D. C. El apoyo creció tan rápidamente que pronto llamó a 100.000 manifestantes a converger en la capital., Presionado para tomar acción, El Presidente Roosevelt emitió una orden ejecutiva el 25 de junio de 1941, seis días antes de la marcha, declarando que «no habrá discriminación en el empleo de los trabajadores en las industrias de defensa o el gobierno debido a la raza, credo, color u origen nacional.»Roosevelt también estableció la Comisión de Prácticas Justas de empleo para supervisar la orden.
seis años más tarde, tras la aprobación de la Ley de Servicio Selectivo de 1947, Randolph exigió que el Gobierno integrara las Fuerzas Armadas., Fundó la liga por la desobediencia civil no violenta contra la segregación militar e instó a los jóvenes, tanto blancos como negros, a «negarse a cooperar con un servicio de reclutamiento Jim Crow.»Amenazado con la desobediencia civil generalizada y la necesidad del voto negro en su campaña de reelección de 1948, El Presidente Harry Truman el 26 de julio de 1948, ordenó el fin de la discriminación militar «lo más rápido posible.,
El movimiento March on Washington y el llamado de Randolph a la desobediencia civil para poner fin a la segregación en las Fuerzas Armadas ayudaron a convencer a la próxima generación de activistas de Derechos Civiles de que las protestas no violentas y las manifestaciones masivas eran la mejor manera de movilizar la presión pública. Randolph fue, en este sentido, el verdadero «padre del movimiento de derechos civiles» en los Estados Unidos. El movimiento reconoció su papel nombrándolo presidente de la marcha de 1963 sobre Washington, en la que Martin Luther King Jr., dio su famoso discurso «Tengo un sueño», y prestando atención a su consejo de cooperar en mantener la marcha no violenta. Randolph fue elegido vicepresidente de la recién fusionada AFL-CIO en 1955. Utilizó su posición para presionar por la desegregación y el respeto de los derechos civiles dentro del movimiento obrero, así como fuera. Fue uno de los fundadores del Negro American Labor Council y se desempeñó como su presidente de 1960 a 1966. En 1964 fue galardonado con la Medalla Presidencial de la libertad por el presidente Lyndon Johnson.,al retirarse como presidente del BSCP en 1968, Randolph fue nombrado presidente del recientemente formado Instituto A. Philip Randolph, establecido para promover el sindicalismo en la comunidad negra. Continuó sirviendo en el Consejo Ejecutivo de la AFL-CIO hasta 1974. Murió en Nueva York el 16 de mayo de 1979.