上海音乐学院前身是伟大的民主革命家、杰出的教育家、思想家蔡元培先生和音乐教育家萧友梅博士于1927年11月27日共同创办的国立音乐院。首任院长为蔡元培先生。1929年9月更名为国立音乐专科学校。中华人民共和国成立后，于1956年定名为上海音乐学院。自1949年至1984年，著名作曲家、音乐理论家、音乐教育家贺绿汀担任院长（后任名誉院长），为学校的建设及发展做出了卓越的贡献。1984年后，桑桐、江明惇、杨立青、许舒亚教授曾先后任院长。学院现任党委书记、院长：林在勇。

学院面向全国招收本专科生、硕士研究生、博士研究生，并招收外国留学生。学院设有15个系（部），即作曲系、指挥系、音乐学系、民族音乐系、钢琴系、声乐歌剧系、管弦系、音乐教育系、音乐戏剧系、艺术管理系、音乐工程系、现代器乐与打击乐系、公共基础部、研究生部、数字媒体学院（筹）等。涉及6个专业(作曲与作曲技术理论、音乐学、音乐艺术表演、录音艺术、公共事业管理、音乐科技与艺术)、近20个专业方向，既包括了具有雄厚根基的传统专业，也有若干新建的新兴学科与交叉学科。

学院拥有全国最早建立的硕士、博士、博士后流动站的完整教学、科研体系。目前，有博士学位一级学科授权点3个（艺术学理论、音乐与舞蹈学、戏剧与影视学）；硕士学位一级学科授权点3个（艺术学理论、音乐与舞蹈学、戏剧与影视学）；艺术学博士后科研流动站1个。学院目前拥有2个上海市重点学科（优势学科：作曲与音乐设计，特色学科：音乐文化史）、上海市教育高地1个（音乐表演）、以及上海市高校音乐人类学E－研究院。

学院拥有3个集教学、表演、科研为一体的艺术中心，即周小燕国际歌剧中心、国际弦乐艺术中心、国际钢琴艺术中心；拥有1个音乐研究所，下设中日音乐文化研究中心、中国当代音乐研究与发展中心、上海音乐学院校史研究中心、音乐剧研究中心、音乐教育研究中心、音乐与社会研究中心等。并建有六个音乐表演团体：上海青年交响乐团、上海音乐学院新室内乐团、上海音乐学院弦乐四重奏组、上海音乐学院打击乐团、上海音乐学院民族乐团以及上海音乐学院合唱团。学院另拥有一个富有特色的出版社——上海音乐学院出版社、一个高水平的学术期刊——《音乐艺术》、一个独一无二的特色博物馆——东方乐器博物馆、以及一个高水准的演出场所——贺绿汀音乐厅。