高宗即位，杨时担任工部侍郎。他与陛下论对时说道：“自古圣贤的君王，没有不以致力于圣贤之学为首要任务的。”授命兼任侍读。杨时连续上章请求外任，以龙图阁直学士职提举杭州洞霄宫。不久告老，以本官辞职家居，优游于山林名胜之地，把著书讲学当作自己的主要事务。去世时八十三岁，谥号“文靖”。
杨时在东郡，交往的人都是天下的名士，先贤显达之士陈瓘、邹浩都以老师的礼仪事奉杨时。宋室南渡长江以后，东南的学者都推举杨时为程氏的学问正统传人。晚年居任谏省，才九十天，他所论说列举的都切中时弊世道。并且南宋绍兴初年崇尚元祐时期的学术，而朱熹、张栻的学问之所以能够得到程氏的正统之传，它的源委脉络相承都是出于杨时。
