1925年、プルマン-スリーピング-カーのオールブラック-サービス-スタッフであるプルマン-ポーターズのグループがランドルフに近づき、新しい組織であるスリーピング-カー-ポーターズの兄弟団を率いるように頼んだ。 ランドルフは同意した。 ランドルフは労働組合への関心と知識に加えて、ランドルフの仕事に対する主な資格は、腐敗しないという評判と、彼がプルマン会社の従業員ではなかったという事実であり、会社は彼を解雇したり、彼を買収したりすることができなかったということであった。, その後の10年間、ランドルフはプルマン-ポーターズを組織するための困難なキャンペーンを率い、1935年にプルマン-ポーターズの排他的な団体交渉エージェントとしてBSCPの認定を受けた。 ランドルフはそれを”偉大な工業企業に対する黒人の労働者の最初の勝利”と呼んだ。”
ランドルフは、国の黒人労働者階級の利益のための最も広く知られているスポークスマンになりました。, 1940年、フランクリン-ルーズベルト大統領が防衛産業における黒人労働者に対する差別を禁止する行政命令を発行することを拒否したため、ランドルフは”10,000人の忠実な黒人アメリカ市民”を呼びかけ、ワシントンD.C.の支援は急速に拡大し、すぐに100,000人の行進者が首都に収束するよう呼びかけていた。, 行動を起こすことを迫られたルーズベルト大統領は、行進が行われる25日前の1941年に行政命令を出し、”人種、信条、色、または国籍のために防衛産業または政府における労働者の雇用に差別はない”と宣言した。”ルーズベルトはまた、秩序を監督するために公正な雇用慣行委員会を設置しました。
六年後、1947年の選択的サービス法の成立後、ランドルフは、政府が軍隊を統合することを要求しました。, 彼は軍の分離に対する非暴力の市民的不服従のためのリーグを設立し、黒人と白人の両方の若い男性に”ジム-クロウ徴兵サービスに協力することを拒否するよう促した。”広範な市民的不服従に脅かされ、1948年の再選キャンペーンで黒人の投票を必要とすると脅かされ、26日、1948年にハリー-トルーマン大統領は、できるだけ早く軍事差別を終わらせるよう命じた”。,”
ワシントン運動の行進と軍の分離を終わらせるための市民的不服従のためのランドルフの呼び出しは、非暴力抗議と大量デモが世論の圧力を動員するための最良の方法であることを公民権活動家の次の世代を説得するのに役立ちました。 ランドルフは、この意味で、米国における真の”公民権運動の父”でした。 この運動は、マーティン-ルーサー-キング-ジュニアが1963年のワシントン行進の議長に指名することで彼の役割を認識した。, 彼の有名な”私は夢を持っている”スピーチを与え、行進を維持するために協力する彼のアドバイスに耳を傾けることによって非暴力。 ランドルフは1955年に新たに合併されたAFL-CIOの副会長に選出された。 彼は彼の立場を利用して、労働運動の内側だけでなく、外部の市民権尊重のための人種差別撤廃と尊重を推進しました。 彼は黒人アメリカ労働評議会の創設者の一人であり、1960年から1966年までその会長を務めました。 1964年、リンドン-ジョンソン大統領から大統領自由勲章を授与された。,
1968年にBSCPの会長を退任したランドルフは、黒人コミュニティにおける労働組合主義を促進するために設立された最近形成されたA.フィリップ-ランドルフ研究所の会長に選ばれた。 彼は1974年までAFL-CIO執行評議会に務め続けました。 平成16年（1979年）にニューヨーク市で死去した。