Родился в Москве в 1937 году. Закончил художественное отделение Московского полиграфического института. В 1964 году в издательстве «Малыш» вышла книга Ирины Пивоваровой, жены художника, «Всех угостила» — первая детская книга с его иллюстрациями.

Работу в книжной графике Виктор Пивоваров совмещал с неофициальным искусством, и вместе с другими известными художниками — Ильей Кабаковым, Эриком Булатовым, Эдуардом Гороховским стал основателем Московской концептуальной школы.

За иллюстрирование детских книг художник брался охотно и до отъезда в эмиграцию в 1982 году, оформил больше 50 изданий. Много сотрудничал с детскими журналами. Знаменитый логотип «Веселых картинок» из букв-человечков создал именно он.

«Я думаю, что в идеале детская книжка должна быть такой, чтобы хотелось на ночь её класть под подушку. Она должна и снаружи и изнутри как-то быть соразмерной тебе, должна быть и по руке и по душе».