Már gyermekkorában - a siófoki elemi iskolában - rendkívül jó rajzkészségével tunt ki. 13 évesen szerepelt egy képével Párizsban. Középiskoláit a budai ciszterciták, majd végül a szombathelyi premontreiek gimnáziumában fejezte be.

1956-ban diplomázott Pátzay Pál és Mikus Sándor növendékeként Képzőművészeti Főiskolán.

Elso egyéni kiállítására 1967-ben került sor. 1969-ben Munkácsy-díjjal tüntették ki. 1972-es tihanyi kiállítása egy csapásra ismertté tette nevét. 1973-ban nyerte el a Kossuth-díjat, két évvel késobb az Érdemes Muvész, 1977-ben - fovárosi köztéri alkotásaiért - a Pro Arte kitüntetést, 1979-ben a Kiváló Muvész címet, s 1982-ben kitüntették a Herder-díjjal. 1984-ben SZOT-díjat kapott. Számos köztéri szobrát állították fel szerte a hazában és külföldön; legutóbb Tel Avivban Roul Wallenbergrol készült alkotását.

A képzőművészet terén elért kimagasló érdemeiért, mellyel Magyarország és Siófok város hírnevét is öregbítette, Siófok Város Tanácsa elsoként őt választotta Siófok Város Díszpolgárává, 1985-ben.

Siófokon látható szobrai: Kopernikusz, II. Rákóczi Ferenc, Vénusz születése, Múló ido, Mártírok szoborcsoport, Kálmán Imre, Golgota, A professzor, Czóbel, Memento a II. magyar hadseregért, Esernyősök, La Charonge, Krúdy, Sarlós madonna, Szent Flórián.

Hogy mennyire kötődik szülőhelyéhez, bizonyítják saját szavai: „Anyai ágú őseim – Andreas Csepeli - , a Csepeli-família Siófok egyik alapító családja, már az első összeírásban szerepel. Az 1700-as években kerültek ide Zalából, ahol annak előtte Mátyás király szabad vadászaiként lakták Csepely községet. Édesanyám az alapítók kései leszármazottja volt. E famíliából kaptam szellemi örökségemet. Tihanyból Az Alapító jogarával kezében, jó nap üdvözletül, mindegy visszaköszön Foknak…”

Varga Imre már gyermekkorában - a siófoki római katolikus elemi iskolában – kitűnt rendkívül jó rajzkészségével. 13 éves korában egy képével szerepelt Párizsban. „Mint megannyi más gyerek, én is faragtam vadgesztenyét. De sokáig nem gondoltam rá, hogy szobrász leszek.”

Középiskoláit a budai cisztercitáknál kezdte, s a szombathelyi premontreiek gimnáziumában fejezte be. 1956-ban diplomázott Pátzay Pál és Mikus Sándor növendékeként.

Első egyéni kiállítását 1967-ben rendezte. 1969-ben Munkácsy-díjjal tüntették ki. 1972-es tihanyi kiállítása egy csapásra ismertté tette nevét. 1973-ban nyerte el a Kossuth-díjat, két évvel később az Érdemes művész rangot, 1977-ben kapta – fővárosi alkotásaiért – a Pro Arte kitüntetést, 1979-ben Kiváló Művész címet, s 1982-ben kitüntették a Herder-díjjal. 1984-ben SZOT-díjat kapott, 1985-ben pedig első díszpolgárául választotta Siófok városa. 1993-ban Hajdúböszörmény díszpolgára lett… Varga Imre szobrászati jelentősége elsősorban az emlékmű-szobrászat tradicionális jellegzetességének az áttörése volt annyiban, amennyiben a köztéri szobrok ábrázolása során szakított a szocialista realista ábrázolás pátoszával és deheroizáló tendenciával alkotta meg a szobrait. Az ábrázolt hősöknek egy személyesebb, intimebb megjelenítési stílusát alakította ki, és ezzel iskolát teremtett a magyar köztéri szobrászatban.

Varga Imre számos köztéri szobrát állították fel szerte a hazában és külföldön. Van női figurája Debrecenben, Nagybátonyban és a hajdúszoboszlói gyógyfürdőnél. Salgótarjánban látható a Város című relief, ott áll Madách és Radnóti-szobra. Hatalmas kő-Zeusza a budaörsi egyetemi kollégium előtt magasodik. Táncsics-szobra Budapesten, a Tűnt idő, a Vénusz születése és a Szent Flórián Siófokon, Hatvani professzornak emléket állító Professzor című szobra a debreceni Nagyerdőn és Antwerpenben látható. 1967-ben Prometheusz című, hegesztett szobra nagy sikerrel szerepelt a Middelheimi Biennálén. Ma ez a szobra is Antwerpenben áll. Az 1970-es IV. Európai Plasztikai Biennálén, Párizsban La Charogne című szobrával szerepelt. Egyébként Párizsban Bartók-szobrát állították fel, a zeneköltő nevét viselő téren. Az auschwitzi múzeum számára készítette Rácskompozícióját, Sárospatakra Szent Erzsébet és Lajos lovas szobrát, s lehetne még bővíteni a sort…