学院在教学体制上实行“大、中、小”一贯制。1953年正式成立了附中，1956年成立了附小。五十多年来，附中、附小形成了鲜明的教学特色和优良传统，取得了优异的办学成果，培养出一大批日后成为国内外知名音乐家的优秀学生，成为我院及全国各音乐院校后备人才的重要培养基地。

学院历来重视师资队伍建设。在学院发展的各个历史时期，始终有一批国内著名乃至国际一流的教授领衔于各个学科，如建校初期的外籍教授查哈罗夫、富华、苏石林、齐尔品以及国内著名音乐家萧友梅、黄自、周淑安、应尚能、贺绿汀、丁善德等。新中国成立后，大批学子从海外学成归来选择上海音乐学院作为报效祖国的平台，除了原有一批活跃于教学一线的著名学者为学科带头人以外，学院加大人才引进力度，广纳贤才，将国内外杰出的专家学者吸收到学院的教学和管理岗位上来，为上海音乐学院的发展奠定了厚实的基础。

建院至今，学院培养的人才遍及全国和世界各地，其中有国际一流的作曲家、演奏家、指挥家、歌唱家、理论家；有文化艺术机关、团体中的领导骨干；有音乐院校、研究机构的业务骨干以及从事普及音乐文化艺术的文艺工作者。同时，学院在教学、科研、创作、学科建设等方面硕果累累，体现了学院雄厚的办学力量。仅以我院师生在国际国内比赛中取得的突出成绩为例，从20世纪50年代起，我院师生就在国内外音乐比赛中屡获佳绩，尤其是20世纪80年代至90年代以来，有600余人次在国际、国内重要音乐比赛中获奖，其中1990年至1993年我院附中学生连续在国际音乐比赛中获得第一名，被文化部授予“三年中连续四次获国际比赛第一名”的奖匾，是全国音乐院校中唯一获此殊荣的院校。2007年至2011年，学院共有106人次获得108项国际音乐比赛奖项、530人次获454项国内音乐比赛奖项。学院被誉为“音乐家的摇篮”。

学院在保持传统优势学科国际先进水平的同时，积极拓展新的学科发展空间，打造学科专业建设新的增长点，促进学院办学水平的提高。如新办的本科专业公共事业管理（下设艺术管理和音乐电子信息技术管理两个方向）以及音乐工程专业，突破音乐教育传统的办学模式，率先在全国同类院校中招收一本生源，实现了包括音乐学、工程学、电子学、管理学等多学科领域的交叉跨越。