Ο Herbert von Karajan γεννήθηκε τον Απρίλιο του 1908 στο Salzburg της τότε Αυστροουγγαρίας και ήταν γόνος της πλούσιας οικογένειας των Καραγιάννηδων, με καταγωγή από την Κοζάνη. Ο προπάππος του Γεώργιος – Ιωάννης Καραγιάννης ήταν βιομήχανος υφασμάτων στην Σαξωνία. Για τις υπηρεσίες του προς την Αυλή, ο άρχοντας της περιοχής Φρειδερίκος Αύγουστος Γ’ του απένειμε το 1792 τον τίτλο ευγενείας von και ο κοζανίτης επιχειρηματίας μετέτρεψε το επώνυμο του από Καραγιάννης σε Karajan.
Παιδί – θαύμα στο πιάνο, ο von Karajan έδωσε την πρώτη του συναυλία σε ηλικία πέντε ετών. Από το 1916 έως το 1926 σπούδασε στο Mozarteum του Salzburg, όπου ενθαρρύνθηκε να ασχοληθεί με την διεύθυνση ορχήστρας. Πρωτοεμφανίσθηκε ως μαέστρος το 1927 στο Ulm και παρέμεινε στην ορχήστρα της γερμανικής αυτής πόλης έως το 1934. Την ίδια χρονιά διηύθυνε για πρώτο φορά την Φιλαρμονική της Βιέννης, με την οποία διατήρησε μια πολύχρονη συνεργασία, παράλληλα με την κύρια απασχόληση του στην Όπερα του Aachen.
Τον Μάρτιο του 1935 δόθηκε μια σημαντική ώθηση στη σταδιοδρομία του. Ο Karajan διορίστηκε ως νεώτερος «Generalmusikdirektor» της Γερμανίας στο αστικό θέατρο του Aachen. Σημείωσε σημαντική επιτυχία με την διεύθυνση της όπερας «Τριστάνος και Ιζόλδη» του Wagner.
Το 1946 ο Karajan έδωσε την πρώτη μεταπολεμική συναυλία του στη Βιέννη με την Φιλαρμονική Ορχήστρα Βιέννης, αλλά του απαγορεύθηκε να διευθύνει περαιτέρω τις δραστηριότητες της από τις σοβιετικές αρχές, λόγω του εθνικοσοσιαλιστικού παρελθόντος του.
Το 1948 έγινε καλλιτεχνικός διευθυντής της Gesellschaft der Musikfreunde στην Βιέννη. Διηύθυνε επίσης στην Σκάλα στο Μιλάνο. Το 1955 διορίστηκε διευθυντής μουσικής στην Φιλαρμονική Ορχήστρα του Βερολίνου και αργότερα έγινε ο καλλιτεχνικός διευθυντής της κρατικής όπερας της Βιέννης. Επίσης είναι ο εμπνευστής του γνωστού Πασχαλινού Φεστιβάλ του Σάλτσμπουργκ.
Ο von Karajan θεωρείται ο κορυφαίος μαέστρος του εικοστού αιώνος. Είχε καθοριστική συμβολή στην εξέλιξη και την επικράτηση του CD με το αναμφισβήτητο κύρος που διέθετε στους μουσικούς κύκλους την δεκαετία του ’80. Στην πολύχρονη καριέρα του πούλησε κοντά στους διακόσιους εκατομμύρια δίσκους. Οι μουσικές του ερμηνείες χαρακτηρίζονταν για την ακρίβεια τους, ενώ ο για όλες τις χρήσεις ήχος του, στιλπνός, ραφιναρισμένος και υπολογισμένα αισθησιακός, μπορούσε να ταιριάξει με κάποιες υφολογικές διαφοροποιήσεις από τον Bach ως τον Stravinsky.
Πολλοί μίλησαν για τον «ήχο Κάραγιαν» και μεγάλη μερίδα κριτικών τον επέκρινε για αυτό. Ηχογράφησε έργα όλων των μεγάλων κλασσικών και ρομαντικών συνθετών και ανέδειξε το έργο σπουδαίων συνθετών που έδρασαν το πρώτο μισό του εικοστού αιώνα.