中央音乐学院建于1950年，其前身是20世纪20年代至40年代各具特色的几所高等音乐院、系，他们分别是建于1927年的燕京大学音乐系、1939年的华北大学文艺学院音乐系、1940年的南京国立音乐院、1946年的国立北平艺术专科学校音乐系和香港、上海的中华音乐院,以及建于1948年的东北鲁迅文艺学院音乐系等，其主体是南京国立音乐院。1958年学院由天津迁至北京，坐落在北京西城区复兴门原清醇王府旧址(光绪皇帝出生地)。原隶属文化部，2000年归属教育部。1960年被定为国家重点高等学校，1999年被列入国家“211工程”建设学校，是目前全国艺术院校中唯一的一所国家重点高校和“211工程”建设学校。历任院长为：马思聪、赵沨、吴祖强、于润洋、刘霖，现任院长王次炤。

中央音乐学院作为一所培养高级专门音乐人才的单学科高等学府，自建院以来已形成了体现教学、科研、艺术实践综合功能的，从附孝附中、大学本科到硕士研究生、博士研究生层次的完整音乐教育体系。现设作曲系、音乐学系、指挥系、音乐教育系、声乐歌剧系、钢琴系、管弦系、民乐系、交响乐学院、基础教育部、附属中小学、继续教育学院、远程音乐教育学院，以及设在教务处的古典吉他、手风琴和电子管风琴三个专业方向的直属学科等教学部门。此外，学院还设有集教学与科研为一体的音乐科技部，其中包括提琴制作研究中心、现代电子音乐中心、音乐治疗中心和嗓音研究中心等。

2001年建立了全国艺术院校中唯一的一个教育部人文社会科学重点研究基地——中央音乐学院音乐学研究所。2002年成立了全国艺术院校中唯一的一所现代远程教育学院。2005年，亚洲第一所以培养和训练乐队演奏人才的机构——交响乐学院在学校成立。学院设有社会音乐教育部和海内外社会音乐考级委员会，与教育部考试中心共同推出“全国音乐等级考试”。学院还附设中央音乐学院出版社和环球音像出版社等机构。中央音乐学院形成了集音乐教育、表演、创作、研究、出版、社会音乐教育为一体的，代表中国专业音乐教育水平、专业设置比较齐全、在国内外享有很高声誉的高等音乐学府。