卡雷拉斯出生於西班牙的巴塞隆拿,自幼便開始展現自己的音樂天賦。他的首次公開表演便是在八歲那年,在西班牙國立電台演唱著名詠嘆調《女人善變》(La Donna è Mobile)。十一歲那年,卡雷拉斯便在里西奧大劇院擔任童聲高音,曾出演《波希米亞人》第二幕中的小頑童和法雅所作的《彼得羅先生的木偶戲》(El retablo de maese Pedro)中的旁白。
其後卡氏入讀里西奧高等音樂學院,並在自己畢業後於里西奧大劇院的首演,擔任《諾爾瑪》中的男主角。他的首演獲得了和他同場獻藝的當紅女高音蒙特賽拉特·卡芭葉的垂青。卡芭葉隨後邀請卡雷拉斯主唱董尼采第的 - 魯克蕾齊亞·波吉亞,這個機會成為卡雷拉斯事業上的首個突破。
1987年,正當卡雷拉斯的事業攀上高峰時,他卻被診斷出患上血癌,並據說只有十分之一的生存機會。經過一年多的化療和放射性治療,最終卡氏靠骨髓移植得以痊癒,重回歌劇演唱界。自此,卡雷拉斯更加關注血癌病人的權益。1988年,他成立了何塞·卡雷拉斯國際血癌基金會。自1995年起,他每年都在德國萊比錫為血癌患者舉行慈善音樂會。