Родился в июне 1901 года под Тверью. С 16 лет работал сплавщиком леса, а в 18 лет пошёл добровольцем в Красную Армию. К началу Великой Отечественной уже был награждён орденом Красного Знамени (в 1922 году за подавление Кронштадтского восстания) и орденом Красной Звезды (в 1940-м за успехи в ходе советско-финской войны).
«Среднего роста, в очках, он внимательно слушал танкистов, время от времени что‑то помечая в своём блокноте, — описывал Ротмистрова служивший с ним в те годы маршал бронетанковых войск Олег Лосик. — Его пытливый взгляд и аналитический ум выдавали в нем не просто штабиста, а человека, склонного к научным выводам. Его рекомендации, пожелания нам очень пригодились».
22 июня 1941-го встретил в Литве, в должности начштаба 3-го механизированного корпуса. В ходе приграничных боев попал в окружение, но через два месяца из него вышел.
С сентября 1941 года — командир 8-й танковой бригады. С ней участвовал в боях за Калинин. Едва не был отдан под трибунал за то, что, с учётом тяжёлой обстановки, отвёл свою бригаду на несколько километров от села, которое ему нужно было захватить.
Однако, обошлось. Бригада проявила себя в ходе контрнаступления под Москвой и 11 января 1942-го за массовый героизм личного состава получила статус гвардейской. Ротмистрова наградили орденом Ленина. Летом 1942-го участвовал в боях за Воронеж, затем — в Сталинградской битве.
В феврале 1943-го Ротмистров стал командующим 5-й танковой армией (ТА) — первой в РККА, созданной по новому принципу — как объединение, состоящие из танковых корпусов, моторизованной пехоты и артиллерийских полков. В ходе боев на Курской дуге 5-я ТА находилась в составе Степного фронта. Прорыв немцев в направлении Прохоровки мог привести к их выходу на оперативный простор.
Чтобы не допустить этого, 12 июля в бой под Прохоровкой бросили 5-ю ТА. Но произошло это в не очень удачной для нас обстановке. Немцы успели окопаться. К тому же, на тот момент танки Тигр, Пантера, новые версии Panzer IV, имели технологическое превосходство над нашими.
5-я ТА понесла большие потери, о масштабе которых до сих пор спорят историки (ориентировочно за день боя она лишилась 53% из своих 642 танков и САУ). Но и немцы дальше пройти не смогли.
Из Москвы прибыла комиссия для расследования причин высоких потерь. Павла Ротмистрова спас маршал Александр Василевский — в докладе на имя Сталина он дал объективную оценку всей Курской битве и действиям 5-й ТА.
В дальнейшем танки Ротмистрова участвовали в боях за Украину, освобождали Харьков. Его армия стала одним из «моторов» операции «Багратион» в июне-июле 1944 года, освобождала Минск, а затем и Вильнюс. Однако, эти сражения стали последними в карьере Ротмистрова — из-за больших потерь в технике и недостатка активности со стороны командующего, его сняли с должности.
Маршал Василевский вспоминал: «5-я гвардейская танковая армия, всегда блестяще проявлявшая себя, в данном случае действовала хуже, чем прежде».
Ротмистрова отправили в тыл, на должность зам. командующего бронетанковыми и механизированными войсками РККА.
В отличии от других танковых командармов, свою звезду Героя Советского Союза он получил только в мае 1965 года.
После войны Ротмистров командовал бронетанковыми и механизированными войсками в Группе советских войск в ГДР, затем на Дальнем Востоке. Позже возглавил Академию бронетанковых войск.
«Опираясь на свой богатый практический опыт, приобретённый им на поле боя, и обширные теоретические знания, он внёс заметный вклад в дело послевоенного развития танковой техники и подготовки командирских кадров», — писал генерал армии Сергей Штеменко.
В 1962 году Ротмистров стал Главным маршалом бронетанковых войск. Скончался в апреле 1982 года, похоронен на Новодевичьем кладбище.