Rođen je 19. siječnja 1944. godine u Vukovaru, od oca Vladimira i majke Barice rođene Šimecki. Roditelji su mu ranije živjeli u Krašiću, a u Vukovar su doselili zbog očeva namještenja u državnoj službi. U svibnju 1945. otac mu je nestao, vjerojatno je ubijen od komunista kao i mnogi drugi u to vrijeme u Vukovaru. Odmah potom s majkom se vratio u Krašić.
Osmogodišnje školovanje završio je u Krašiću u vrijeme dok je tamo kao zatočenik boravio zagrebački nadbiskup i kardinal, blaženi Alojzije Stepinac. Godine 1959. otišao je u Nadbiskupsko dječačko sjemenište na Šalati u Zagrebu, gdje je maturirao 1963. godine. Studij teologije završio je na Katoličkom bogoslovnom fakultetu u Zagrebu.
Za svećenika Zagrebačke nadbiskupije zaređen je 16. studenog 1969. godine. Vršio je sljedeće službe: od 1970. do 1972. bio je župni vikar u Koprivnici; od 1972. do 1980. župnik u Ozlju odakle je upravljao župom Vrhovac; od 1980. do 1998. bio je župnik u Sesvetskom Kraljevcu; od 1987. do 1998. dekan Vugrovečkoga dekanata; od ljeta 1998. biskupski vikar za svećenike i ravnatelj pastoralnih ureda Nadbiskupskoga duhovnog stola u Zagrebu. U kolovozu 1998. zagrebački nadbiskup mons. Josip Bozanić imenovao ga je kanonikom Prvostolnoga kaptola zagrebačkog.
Sveti papa Ivan Pavao II. imenovao ga je 29. prosinca 1998. pomoćnim biskupom Zagrebačke nadbiskupije. Za biskupa je zaređen u zagrebačkoj katedrali 6. veljače 1999. godine.
Varaždinskim biskupom imenovao ga je 20. ožujka 2007. papa Benedikt XVI. Službu je preuzeo u varaždinskoj katedrali Uznesenja Blažene Djevice Marije, 31. ožujka 2007. godine. Papa Franjo prihvatio je odreknuće mons. Josipa Mrzljaka na pastoralnom služenju Varaždinskoj biskupiji 1. kolovoza 2019.
