行到通衢，岳飞父子二人早已乔装打扮，骑着两匹浅显马匹，悄悄脱队而出，向东而去。而跟着岳飞退隐，中原大地再陷水火，正如后代词人张孝祥所写那般：
高宠此时脸上方有笑意，点头称是。
“长淮望断，关塞莽然平。征尘暗，霜风劲，悄边声。黯销凝。追想当年势，殆天数，非人力；洙泗上，弦歌地，亦膻腥。隔水毡乡，夕照牛羊下，区脱纵横。看名王宵猎，骑火一川明，笳鼓悲鸣，遣人惊。
这时施全才开口道：“当日大哥死讯传至军中，众将士无不悲哀，随后朝廷又令雄师回撤鄂州，更是民气动乱，难以束缚。固然王贵和牛皋二人素有威望，但却远不及大哥在时。我观只怕岳家军离分崩离析不远矣。特别是董先、杨钦等将，言谈当中皆透暴露要重返旧地，占山为王的设法。莫非大哥真要弃众兄弟于不顾，就此隐居山林不成？”
来到庐山后，岳飞又写成一封密信，命岳云将信交到躲藏于江州的踏白军标兵手上，送到施全军前。在信中，岳飞细心安设了岳家军退还鄂州后的各项安排，又命施全与高宠二人轻骑来此相见。
本来岳飞在镇江逃脱生天后，与岳云、张宪二人一起晓行夜宿，埋没真容，暗中回到鄂州，面见了李娃等家眷，将本身诈死之事细心说与他们听。李娃固然早知丈夫乃是将来之人，却也一向顾虑他所言大劫一事，此时见其逃脱生天，天然不堪欢乐。
随后岳飞又安设下去，命岳雷在收到丧讯后便赴临安接灵，又让李娃与岳云称病留在鄂州，随后一家大小出发去往庐山祖地，本身则混迹于车队当中。
随后岳飞又手书一封密信，交到施全手中，说道：“此信交于何元庆手中，让其暗中行事。我列有一张名单，你回到鄂州后一一与这些人细谈，观其言行，若不肯留在军中，便劝其随何元庆落草，静待良机。至于军费所需，等我去到滇南以后，一应事件皆无窜改，只是要将军器买卖转上天下，勿使故意人所知。”
未几时，二人来到，岳飞说道：“再过两日，我便筹办举家迁往滇南，你们二人好生照顾家眷，张宪与高宠随行保护，应祥与我一道再去办些事情，稍后便会赶上。”世人齐宣称是。
施全听后点点头道：“在临安的标兵也曾传回动静，天子召大哥去往行在，便是在秦桧调拨下做出的决定，而在临安府中，则早已针对大哥设下天罗地网，到时一入城中，只怕是难以逃脱生天。如此大哥便隐居于此，也何尝不成，但等机会成熟，再行出山。只是不知大哥唤我与高宠前来，有何叮咛？”
就在中原和淮西两处疆场不竭失守，终究将岳家军打下的大好根本一一就义后，庐山却成了一块安好之地。