Za Ivanom Milinkovićem su godinama uzdisale mnoge dame, kako zbog njegovog glasa i izgleda, tako i zbog izuzetnih interpretacija u koje unosi snažne emocije.
Međutim, Ivan je svoj ljubavni život uglavnom čuvao od prevelikog uvida javnosti.
„Jedno je javnost, drugo je sve ostalo“ – pričao je Ivan, pa nastavio:
„Sa 32 godine sam se prvi put oženio, Vesna je bila moja velika ljubav još iz KUD Lola, gde sam odlazio i pevao. Venčali smo se i bili u braku sedam godina i razveli smo se. Nismo imali dece. Da jesmo, verovatno se to tako ne bi završilo“ – rekao je pevač za domaće medije.
Ivan ne krije da je za žene bio fatalan. Kako je jednom prilikom ispričao, dopadalo im se čak i što ima lepe prste i nokte, ali on sebe nije smatrao nekim naročitim „frajerom“.
Međutim, na jednom nastupu je upoznao Milicu, rodila se ljubav i, u svojoj 40. godini je sa njom dobio sina.