Ivan Josip Herberstein sin je štajerskoga namjesnika grofa Ivana Maksimilijana Herbersteina i barunice Eleonore Breuner. Rođen je u 28. veljače 1633. godine u Grazu. Još kao mladić pristupio je redu malteških vitezova posvetivši se vojništvu 1643. godine. Nakon sudjelovanja u bitci protiv Osmanlija kralj Leopold I. imenovao ga je 1665. godine pratiteljem osmanskog poslanstva iz Carigrada u Beč prigodom pregovora koji su okončani Vašvarskim mirom. Zatim je kao stotnik došao na službu u Đurđevec u Đurđevečku krajišku pukovniju. Bio je netrpeljiv prema Vlasima na području pukovnije, a nakon pritužbi na njega premješten je u Ivanić. Nakon toga je kao zapovjednik u Križevačkoj kapetaniji skršio pobunu graničara 1666. godine pa je imenovan pukovnikom. Godine 1669. postao je general Hrvatske granice u Karlovcu i taj je položaj obnašao do smrti 30. prosinca 1689. godine u Grazu. Vlasi ga kao nižeg časnika nisu imali na volju jer je u mjestima gdje je služio naseljavao Hrvate i stalno su s njime bili u sukobu. Imao je važnu ulogu u uroti Zrinskih i Frankopana jer je od kraja ožujka 1670. godine po nalogu Beča nadzirao namjere urotnika i samostalno poduzimao vojne mjere kako bi urotu hrvatskih i ugarskih velikaša ugušio u zametku. Nakon njihove pogibije u Bečkome Novom Mjestu dao je opljačkati sva njihova imanja u Hrvatskoj. U Bečkom ratu (1683.-1699.) rukovodio je oslobađanjem Like i Krbave 1689. godine. Tijekom generalske dužnosti dosljedno je provodio politiku slabljenja Hrvatske, protivio se ukidanju Varaždinskoga generalata i osamostaljenju područja Vojne granice.