Родился в декабре 1897 года под Вологдой. Принимал активное участие в Первой мировой и Гражданской войнах. В Красной Армии сделал стремительную карьеру.
Во время одного из учений начштаба РККА Борис Шапошников обратил внимание на молодого командира: «У вас есть задатки к вождению войск, чувствуется, что вы можете стать мастером манёвра».
После этого Конева определили в Особую группу Военной академии РККА им. Фрунзе. В 1940-м он уже руководил Забайкальским военным округом, а с января 1941-го — Северо-Кавказским.
После начала ВОВ принял командование 19-й армией. Отличился в Смоленском сражении, которое сорвало «график» операции «Барбаросса» по быстрому захвату Москвы. После этого Конев стал командующим Западным фронтом.
Но на этой должности его ожидал страшный удар — в ходе операции «Тайфун» (октябрь 1941-го) немцы разгромили войска Западного и Резервного фронтов. Число советских солдат, погибших и попавших в плен в Вяземском котле, исчислялось сотнями тысяч.
Командующего вполне мог ждать смертный приговор, как ранее за поражение в Белоруссии был расстрелян генерал Дмитрий Павлов. Но Конева спас Жуков. Он вспоминал: «Сталин трижды настойчиво требовал отправить Конева в Москву, я же просил оставить его моим заместителем....Короче, я спас Коневу жизнь».
Конева назначили командующим Калининским фронтом. В декабре его войска освободили Калинин (Тверь). Но затем в 1942–1943 годах он потерпел ряд неудач, в том числе в тяжелейшей Ржевской битве.
В июне 1943 года Ивану Коневу дали ещё один шанс, поставив во главе Степного фронта. С этого момента военачальнику сопутствовал успех. Развивая контрнаступление после боев на Курской дуге, его войска освободили Харьков.
Громким успехом стала Корсунь-Шевченковская операция в январе-феврале 1944 года. В окружение тогда попали почти 60 тысяч фашистов двух корпусов под командованием Вильгельма Штеммермана. Около половины из них в итоге было уничтожено.
Конев писал в мемуарах: «Такого большого количества трупов на сравнительно небольшом участке мне не пришлось видеть на войне ни до, ни после этого. Немцы предприняли там безнадёжную попытку прорваться ночью из котла, и стоило им это страшных потерь».
20 февраля 1944 года Конев стал маршалом. В течение следующих месяцев он участвовал в успешных наступательных операциях на Украине, в Молдавии и Румынии. В августе 1944 во главе 1-го Украинского фронта захватил и удержал Сандомирский плацдарм на реке Висла. В начале 1945-го его наличие сыграло важную роль в успехе Висло-Одерской операции. Тогда подразделения Конева освободили Краков и печально известный концлагерь Освенцим.
В мае 1945-го 1-й Украинский освобождал Берлин, Прагу и Дрезден. Так что в спасении ценностей Дрезденской галереи, в частности Сикстинской Мадонны Рафаэля Санти, есть и скромный вклад Конева.
Маршал Александр Василевский говорил, что Конев «по настойчивости и силе воли был наиболее близок к Жукову», «обладал хорошей интуицией, умело сочетал мощь артиллерии и авиации с быстротой, натиском и внезапностью удара».
Отмечали служившие рядом с ним и его человеческие качества. Генерал-полковник Александр Покровский писал: «Конев среди всех командующих фронтами <...> был больше всего солдат, и в нём было больше всего человечности, в его характере, в натуре. <...> Как‑то однажды целый день мы ходили с ним по траншеям переднего края — надо было послушать, как он разговаривал с солдатами. Это не был показной разговор: вот командующий поехал и поговорил с солдатами. Это был естественный разговор. За этим стояла его солдатская суть, солдатская натура <...> с абсолютным пониманием солдатской жизни, души, с абсолютной естественностью».
После войны Конев в разные годы командовал группировками советских войск в Австрии, Восточной Германии, был Главкомом объединённых войск стран Варшавского договора.
Скончался 21 мая 1973 года. Прах покоится в Кремлёвской стене.