杨森接着又命人前去刺杀吕姓同学，幸而吕某已得知消息，逃往了国外。而蔡文娜的姐姐蔡文其许久没有妹妹的音讯后，跑来重庆打探，杨森叹了口气，悠悠地说：跑了，跑到英国去了。蔡文其张愕着嘴，正欲发问，杨森皱了皱眉，说道：我准备委你丈夫去当县长。
蔡文其听后更觉惊诧，联想到外界传言和许久没有妹妹的音讯，估计已经遇害。只得哭着回了沪州。逝者如斯。只可怜蔡文娜的两个尚不谙人事的孩子，成天哭闹着要妈妈，杨森觉得对孩子有愧，给予了比其他子女更多的父爱，做为对良心的一种补偿。
仓皇飞台九旬纳妾
1949年12月18日，人民解放军的隆隆炮声逼近成都，国民党妄图固守大西南的迷梦被粉碎，杨森和四川军阀孙震一同从成都市凤凰山机场乘飞机到海口，然后转飞台湾。到台后的第二天，蒋介石接见了杨森，一见面就说：你保卫反共基地重庆有功，因为你几十年剿共的名声太大，所以我派飞机把你接到台湾来。当晚设宴给杨森洗尘。
1950年4月，蒋介石委杨森为台湾总统府上将国策顾问、战略顾问委员会战略顾问。蒋介石知道杨森爱好体育，1960年又给他安排了中华全国体育协进会理事长（后为名誉理事长）兼台湾奥林匹克运动会理事长；还拨给台北市长春路225号的日本式花园洋房1幢。小轿车1辆供杨森使用；还派给警卫2人，厨师1人，司机兼勤务员1人；每月发给台币1万元。
能有如此结局，主要是田衡秋的功劳。当年杨森不惜萎自枉曲，以堂堂的陆军上将身份与还是军统中校秘书的毛人凤结为儿女亲家。田衡秋以商贩世家的眼光巴结毛人凤，终起作用。毛人凤遂替杨森说合，将田衡秋三女嫁与蒋介石外甥竺培丰，攀上了姻亲。
杨森在台期间，曾去美国旧金山、洛杉矶、纽约等地旅游，他参观了加州体育馆、好莱坞、内华达州拉斯维加斯城赌场等，并在报上发表了访美观感。杨森以体协理事会理事长的身份开展政治的、敛财的活动。台湾体育协进会（后改为中华民国体育协进会），是一个民间组织，经费靠募捐维持，杨森就以体协的名义向各方募捐、兜揽生意赚钱。为扩大他在体育方面的影响，他以身作则地搞体育活动。他在体协理事长任内，以其70岁高龄学会驾驶教练飞机而轰动台湾。他特别喜欢登山运动，每逢星期日无论天晴下雨都要坚持登山活动，他常登七星山、万寿山。在他86岁那年还登上了海拔4000米高的玉山。为表示效忠蒋介石，登上玉山顶时，他高呼：总统万寿无疆！驰名中外的大画师张大千特为杨森登玉山作画，并题诗赞赏。
蒋经国任台湾行政院院长后，以亲信黎玉玺换下了年已90岁的体协理事长杨森。为照顾他的面子，给了他体协名誉理事长的头衔。杨森对此很不服气，他以90岁高龄再次登上玉山顶，并在山顶上题字、照相，一时轰动体育界人士，被认为是一大奇迹。台湾和外国记者为此撰写文章，还拍摄了一部杨森的体育运动与家庭生活纪录片。这样一来，更扩大了杨森在台湾体育界的声誉。
杨森结束官场生涯后，不愿居住在台北市，在台北县新店镇稻子园买了一座山，修建起别墅，在此度晚年。他喜好古玩、字画，收存各式武器。同时他还爱好写诗，有收藏手杖的癖好。
1972年2月20日，杨森九十大寿，蒋介石派人在国防部三军军官俱乐部为杨森布置寿堂。杨森喜气洋洋，尤其是听说许多人称他是传奇式人物，他更为高兴。他说：我一生过得平凡而实在，如果岁月不会催人老，我将继续拿出我的力量，为人生而服务。蒋介石亲书贞固康强的寿轴，杨森把它挂于寿堂正中央，以示炫耀。参加祝寿的除了高级军政人员外，还有宗亲会、同乡会的各色人物，及杨森在美国的女儿等亲友，来宾达三四千人之多。杨森身着棕色条花西服，胸佩一朵大红花，坐在寿堂正中，神气十足地接受子孙们的叩拜和来宾们的祝贺。接着抬来一个直径3尺余，厚1尺余的大蛋糕，杨森煞有介事地举起日本式战刀，切开蛋糕分送来宾。