Urodził się 26 czerwca 1933 w Mediolanie. W konserwatorium mediolańskim (Conservatorio di musica „Giuseppe Verdi” di Milano) pod kierunkiem swojego ojca, Michelangela Abbado, studiował grę na fortepianie. Naukę kontynuował w Konserwatorium Wiedeńskim, u Hansa Swarowsky'ego poszerzał swoją wiedzę z zakresu dyrygentury. Matka grała na fortepianie, była też autorką książek dla dzieci.
W 1958 zdobył nagrodę im. Kusewickiego, co ugruntowało jego pozycję we Włoszech, a w 1963 zdobył I nagrodę na międzynarodowym konkursie dla dyrygentów im. Mitropoulosa, po którym wzrosła jego międzynarodowa popularność jako dyrygenta orkiestr symfonicznych i operowych.
Abbado debiutował w mediolańskiej La Scali w 1960. W latach 1968-1986 pracował jako jej dyrektor muzyczny, dyrygując nie tylko tradycyjnym repertuarem włoskim, ale przedstawiając również każdego roku współczesną operę, a także serię koncertów poświęconą muzyce Albana Berga i Modesta Musorgskiego.
W okresie, kiedy kierował La Scalą, założył Orchestra della Scala, wykonującą repertuar symfoniczny.
W 1965 na Festiwalu w Salzburgu po raz pierwszy dyrygował Wiedeńskimi Filharmonikami. Od 1986 do 1991 roku był dyrektorem artystycznym Staatsoper w Wiedniu i jednocześnie Wiener Philharmoniker, kierując m.in. słynnymi wykonaniami: Borysa Godunowa, nieczęsto wystawianej Chowańszczyzny Musorgskiego, Fierrabrasa Schuberta i Podróży do Reims Rossiniego.
Od 1979 do 1987 był głównym dyrygentem London Symphony Orchestra, a w 1989 objął po Herbercie von Karajanie stanowisko głównego dyrygenta Berliner Philharmoniker, które opuścił w 2002 i przeszedł na emeryturę.
Abbado wykonywał i nagrywał wiele dzieł muzyki romantycznej. Znany jest również ze swoich interpretacji muzyki współczesnej (Arnold Schönberg, Karlheinz Stockhausen, Luigi Nono).
W roku 1998 stworzył festiwal muzyczny Wien Modern, którego formuła uległa od tego czasu poszerzeniu i obecnie uwzględnia wszystkie przejawy sztuki współczesnej. Festiwal odbywał się co roku pod kierownictwem założyciela. Abbado chętnie pracował także z młodymi muzykami. Był założycielem i dyrektorem European Union Youth Orchestra (1978) i Gustav Mahler Jugend Orchestra (1986).
Dyrygował orkiestrą Berliner Philharmoniker podczas nagrywania albumu Moment of Glory zespołu Scorpions. Płyta została wydana w 2000.
Dokonał wielu wybitnych nagrań płytowych. Do najwybitniejszych należą kompletne lub bardzo obszerne wybory symfonii Beethovena, Mendelssohna, Schuberta, Brahmsa, Czajkowskiego i Mahlera, koncertów fortepianowych Beethovena, Mozarta, Chopina, Brahmsa i Czajkowskiego, oper Rossiniego i Verdiego oraz bardzo liczne nagrania muzyki XX wieku.
30 sierpnia 2013 w uznaniu zasług został mianowany przez prezydenta Giorgio Napolitano dożywotnim senatorem.
W roku 2000 zdiagnozowano u niego raka. Mimo to nadal, choć rzadziej, dyrygował. Zmarł 20 stycznia 2014 w Bolonii w wieku 80 lat.