Karol urodził się na zamku Arona 3 października 1538 r. jako syn arystokratycznego rodu, spokrewnionego z rodem Medici. Ojciec Karola wyróżniał się prawością charakteru, głęboką religijnością i miłosierdziem dla ubogich. To miłosierdzie będzie dla Karola, nawet już jako kardynała, ideałem życia chrześcijańskiego.
Już w młodym wieku Karol posiadał wielki majątek. Kiedy miał zaledwie 7 lat, biskup Lodi dał mu suknię klerycką, przeznaczając go w ten sposób do stanu duchownego. Takie były ówczesne zwyczaje. Dwa lata później zmarła matka Karola. Aby zapewnić mu odpowiednie warunki na przyszłość, mianowano go w wieku 12 lat opatem w rodzinnej miejscowości. Młodzieniec nie pochwalał jednak tego zwyczaju i wymógł na ojcu, żeby dochody z opactwa przeznaczano na ubogich.
Pierwsze nauki pobierał Karol na zamku rodzinnym w Arona. Po ukończeniu studiów w domu wyjechał zaraz na uniwersytet do Pawii, gdzie zakończył studia podwójnym doktoratem z prawa kościelnego i cywilnego (1559). W tym samym roku jego wuj został wybrany papieżem i przyjął imię Pius IV. Za jego przyczyną Karol trafił do Rzymu i został mianowany protonotariuszem apostolskim i referentem w sygnaturze. Już w rok później, w 23. roku życia, został mianowany kardynałem i arcybiskupem Mediolanu (z obowiązkiem pozostawania w Rzymie), mimo że święcenia kapłańskie i biskupie przyjął dopiero dwa lata później (1563). W latach następnych papież mianował siostrzeńca kardynałem-protektorem Portugalii, Niderlandów (Belgii i Holandii) oraz katolików szwajcarskich, ponadto opiekunem wielu zakonów i archiprezbiterem bazyliki Matki Bożej Większej w Rzymie. Urzędy te i tytuły dawały Karolowi rocznie ogromny dochód. Było to jawne nadużycie, jakie wkradło się do Kościoła w owym czasie. Pius IV był znany ze swej słabości do nepotyzmu. Karol jednak bardzo poważnie traktował powierzone sobie obowiązki, a sumy, jakie przynosiły mu skumulowane godności i urzędy, przeznaczał hojnie na cele dobroczynne i kościelne. Sam żył ubogo jak mnich.