八月，岳飞再次在汜水关击败金军，升转武功郎。杜充命令岳飞去消灭张用、曹成、王善等被原宗泽招安但在其死后不受约束的部队，岳飞以所部八百人死战，升转武经大夫。接着，岳飞奉命解,救,盗,匪杜叔五、孙海围困的东明县，升转武略大夫，借补英州刺史。岳飞再救援被王善围困的淮宁府，升转武德大夫，实授英州刺史。 建炎三年六月，杜充撤往建康府，岳飞苦谏不从，开封失守。不久完颜宗弼率金军南下建康，杜充所部战败，率亲兵三千投降。岳飞退屯建康东北的紫金山，后四战收复常州。宋高宗从海上逃走，金军从海道追出三百多里，仍然没能抓住他，随即在大肆掳掠后北还。 建炎四年三月，宋高宗从海上返回越州，任命张俊为浙西路江东路制置使，诸将并受节度，命其收复建康。四月，岳飞在清水亭首战告捷；五月，进屯牛头山，率三百骑,兵、两千步兵在建康城西北十五里击败完颜宗弼，收复建康。六月，岳飞随张俊讨伐沦为盗,匪的原统制戚方，以三千人在广德军东南约七十里的苦岭击,败戚方，戚方投降张俊。
　　岳飞回到张渚镇，因为即将离开，在房东张大年的屏风上题词：近中原〔板〕荡，金贼长驱，如入无人之境；将帅无能，不及长城之壮。余发愤河朔，起自相台，总发从军，小大历二百余战。虽未及远涉夷荒，讨曲巢穴，亦且快国雠之万一。今又提一垒孤军，振起宜(兴)，建康之城，一举而复，贼拥入江，仓皇宵遁，所恨不能匹马不回耳！ 今且休兵养卒，蓄锐待敌。如或朝廷见念，赐予器甲，使之完备，颁降功赏，使人蒙恩；即当深入虏庭，缚贼主碟血马前，尽屠夷种，迎二圣复还京师，取故地再上版籍。他时过此，勒功金石，岂不快哉！此心一发，天地知之，知我者知之。建炎四年六月望日，河朔岳飞书。张俊回朝后盛称岳飞可用，于是岳飞升转任武功大夫、昌州防御使，通州镇抚使兼知泰州。 完颜宗弼北上后，与完颜昌会师攻打楚州。宋高宗命张俊援救楚州。
　　张俊泽命并非嫡系的岳飞出战，又命刘光世为岳飞后援。岳飞于九月赶到承州，但未能解楚州之围，楚州失陷。岳飞无险可恃，撤军而还。同年六月，御前五军改为神武军，韩世忠所部为神武左军，张俊所部为神武右军都统制，两人均为都统制；辛永宗所部六千人为神武中军，王燮所部一万五千人为神武前军，陈思恭所部万人为神武后军，三人均为统制。御营司五军改为神武副军，辛企宗所部为神武副军，辛企宗为都统制；李横所部为神武左副军，颜孝恭所部为神武右副军，两人均为统制。后神武右副军统制颜孝恭改任江南东路安抚大使司统制，空缺由岳飞填补。十月，岳飞升转亲卫大夫、建州观察使。
　　十二月，神武副军都统制辛企宗因镇压福建范汝为之乱不力而被削职，岳飞的神武右副军改名为神武副军，并升迁为都统制。绍兴二年正月末，岳飞被任命为知州、兼荆湖东路安抚使、都总管，统率军马前往潭州。二月，主战派头号人物李纲被起用为荆湖、广南路宣抚使，岳飞等将领划入李纲部下，讨伐湖东路的盗匪曹成。当时岳家军的兵力为一万二千余人，岳飞以二千人驻守吉州，以其余的一万多人进攻曹成的部队。战斗中岳家军尽占优势，但曹成部下悍将杨再兴骁勇异常，先是攻入岳家军第五正将韩顺夫的营地，将韩砍折一臂而死，后又杀死了岳飞的胞弟岳飜。但杨再兴最终被岳家军俘虏，被岳飞收服而成为日后岳家军的著名悍将之一。李纲称赞岳飞年齿方壮，治军严肃，能立奇功，近来之所少得，断言他异时决为中兴名将。闰六月，岳飞升三官为中卫大夫、武安军承宣使，仍属从五品。讨伐曹成后，岳家军兵力增一倍，达二万三千到四千人左右，与韩世忠、刘光世、张俊等军相差不多。绍兴三年九月，岳飞第二次朝见宋高宗。
　　宋高宗亲笔书写精忠岳飞四字，绣成一面战旗，命岳飞在用兵行师时作为大纛。又任命岳飞任江南西路舒蕲州制置使，将驻守蕲州的统制李山，屯扎江州的统制傅选两支部,队并入岳家军，将淮南西路舒州和蕲州的防,务并入岳飞的防,区。岳家军的军号也由神武副军升格为神武后军，但岳飞的官衔却由都统制改回统制，这是因为他的资历尚浅，还不能和神武左军都统制韩世忠、神武右军都统制张俊相比。岳飞率岳家军的第一次北伐发生于绍兴四年五月至七月期间。岳飞率岳家军三万五千人左右大败伪齐刘豫的部将李成等人，成功地收复了前一年南宋失去的襄阳府镇抚使李横的辖地，以及额外的原由刘齐控制的唐州和信阳军。克复襄汉后，岳飞面临的是新恢复的中原地区的后,勤,防,务问题，这是以后直到金哀宗时金国被灭中原被克复后都一直困扰宋军的问题。这些地方因为久罹兵火，原来的居民或被驱虏，或遭杀戮，甚为荒残，以至于百里绝人，荆榛塞路，虎狼交迹，野无耕农，市无贩商，城郭隳废，邑屋荡尽，而粮饷难于运漕。