en juin 1925, un groupe de porteurs Pullman, Le personnel de service entièrement noir des voitures-lits Pullman, a approché Randolph et lui a demandé de diriger leur nouvelle organisation, la Confrérie des porteurs de voitures-lits. Randolph a accepté. Outre son intérêt constant et sa connaissance des syndicats, la principale qualification de Randolph pour le poste était sa réputation d’incorruptibilité et le fait qu’il n’était pas un employé de la Pullman Company—ce qui signifie que la société ne pouvait pas le licencier ou le racheter., Pendant les 10 années qui suivirent, Randolph mena une campagne ardue pour organiser les porteurs Pullman, qui déboucha sur l’accréditation du BSCP en tant qu’agent négociateur collectif exclusif des porteurs Pullman en 1935. Randolph a appelé cela la » première victoire des travailleurs Nègres sur une grande entreprise industrielle. »
Randolph est devenu le porte-parole le plus connu des intérêts de la classe ouvrière noire dans le pays., En décembre 1940, alors que le président Franklin Roosevelt refusait de publier un décret interdisant la discrimination contre les travailleurs noirs dans l’industrie de la défense, Randolph appela « 10 000 citoyens américains noirs loyaux » à marcher sur Washington, D. C. Le soutien augmenta si rapidement qu’il appela bientôt 100 000 marcheurs à converger vers la capitale., Pressé de prendre des mesures, le Président Roosevelt a publié un décret le 25 juin 1941, six jours avant la marche, déclarant « Il n’y aura pas de discrimination dans l’emploi des travailleurs des industries de défense ou du gouvernement en raison de la race, de la croyance, de la couleur ou de l’origine nationale. »Roosevelt a également mis en place la Fair Employment Practices Commission pour superviser l’ordre.
Six ans plus tard, après l’adoption du Selective Service Act de 1947, Randolph exigea que le gouvernement intègre les forces armées., Il a fondé la League for Nonviolent Civil Disobedience contre la ségrégation militaire et a exhorté les jeunes hommes, noirs et blancs, à « refuser de coopérer avec un service de conscription Jim Crow. »Menacé de désobéissance civile généralisée et ayant besoin du vote noir lors de sa campagne de réélection en 1948, le président Harry Truman, le 26 juillet 1948, a ordonné la fin de la discrimination militaire « le plus rapidement possible., »
Le mouvement March on Washington et L’appel de Randolph à la désobéissance civile pour mettre fin à la ségrégation dans les forces armées ont aidé à convaincre la prochaine génération de militants des droits civiques que les manifestations non violentes et les manifestations de masse étaient le meilleur moyen de mobiliser la pression publique. Randolph était, en ce sens, le véritable « père du mouvement des droits civiques » aux États-Unis. Le mouvement a reconnu son rôle en le nommant président de la marche sur Washington de 1963, au cours de laquelle Martin Luther King Jr., a donné son célèbre discours « J’ai un rêve », et en tenant compte de ses conseils de coopérer pour garder la marche non violente. Randolph a été élu vice-président de L’AFL-CIO nouvellement fusionnée en 1955. Il a utilisé sa position pour faire pression pour la déségrégation et le respect des droits civils à l’intérieur du mouvement ouvrier ainsi qu’à l’extérieur. Il a été l’un des fondateurs du Negro American Labor Council et en a été le président de 1960 à 1966. En 1964, le président Lyndon Johnson lui décerne la médaille présidentielle de la liberté.,
prenant sa retraite en tant que président du BSCP en 1968, Randolph a été nommé président de l’Institut A. Philip Randolph récemment formé, créé pour promouvoir le syndicalisme dans la communauté noire. Il a continué à siéger au Conseil exécutif de L’AFL-CIO jusqu’en 1974. Il est décédé à New York le 16 mai 1979.