Родился в 1918 году в Элктоне, штат Кентукки. Окончил Политехнический институт Алабамы в 1940, а также учился в Гарвардском университете у Вальтера Гропиуса.
Закончив Гарвард в 1947, Рудольф открыл архитектурную фирму в Сарасоте (штат Флорида) вместе с Ральфом Твитчеллом [Ralph Twitchell]. В 1951 их мастерская распалась, и Пол Рудольф занялся архитектурным проектированием самостоятельно в Бостоне, Нью-Хейвене и Нью-Йорке.
Его проекты жилых домов во Флориде принесли Рудольфу известность, и он начал получать более крупные заказы, такие, как Центр искусств Джуитт в Колледже Уэллесли (1959). В 1958 он возглавил архитектурную школу Йельского университета, где преподавал 6 лет, пока не вернулся к частной практике. В 1964 по его проекту в Йеле был построен Корпус архитектуры и искусств.
Наряду с Кевином Рошем, Рудольфа причисляют к лидерам архитектурного брутализма. В его постройках синтезированы идеи Ле Корбюзье, Фрэнка Ллойда Райта и Луиса Кана. Он использовал массивные обтекаемые формы в решении внешнего облика здания, а внутренние пространства его построек, как правило, сложны и обладают пластичностью объемов.
Рудольф также интересовался проблемами градостроительства, работал в этой области, но все его проекты остались нереализованными. Его привлекала идея "интегрируемого" города, состоящего из отдельных пространственных модулей, "подключаемых" к системам жизнеобеспечения.
Творчество Пола Рудольфа отмечено ярко выраженным отпечатком индивидуального стиля. Хотя его и считают представителем модернизма, Рудольф отошел от его принципов в своих поздних работах.
С 1970-х, когда брутализм потерял популярность в США, Рудольф работал в основном для заказчиков из Юго-Восточной Азии, Ближнего Востока, Африки.
В разных частях планеты памятники архитектурного наследия оказываются близки к гибели или, наоборот, оказываются в самом выгодном положении. На текущий момент, по счастью, хороших новостей больше.
Во флоридском городе Сарасота решено снести комплекс средней школы Ривервью, построенной в 1957 - 1958 годах знаменитым архитектором Полом Рудольфом, чтобы на ее месте устроить парковку.