此时兀术探得高宗天子意欲自明州出海，便自留安府，使斜卯阿里、乌延蒲鲁浑以精兵四千追击。又命讹鲁补、术列速攻越州，越州知州李邺、宣教郎袁潭献城投降。当时两浙宣抚副使郭仲荀在越州，金军未至，便乘海舟叛逃温州。
当夜，吕颐浩密谕中军统制辛企宗及亲军将姚端入府，命二人暗中变更御营军，以备次日发难。
朱晔率军行至县外二十里处，正遇迪虎军，敌我相见，分外眼红，朱晔身先士卒，挥刀迎战。两军箭如飞蝗乱射，死伤不计其数，朱晔身中两箭，被摆布亲卫带至天竺山上，仍率乡兵死战不退，数日以后以身就义。
金军击破朱晔，顺势取了钱塘，迪虎令人回报兀术。兀术闻讯叹道：“若南朝宗泽尚在，李纲用事，焉能使我渡黄河、济长江？”
入得殿中，范宗尹恐卫士生乱，便命人将大门紧闭，一众卫士被阻门外，虽大声叫骂，倒是不得而入。
张俊率军于明州恪守，这一日俄然西风高文，阿里、蒲鲁浑果率军前来攻城，张俊与刘洪道于城楼亲身御敌，又命杨沂中、赵密等将出城厮杀，金军大败而归，一起被追杀至江边，死伤无数。阿里、蒲鲁浑见明州难下，连夜拔寨而去，屯兵于越州余姚县，并求援于兀术。此战得胜，杨沂中因功受封文州防备使、御前中军统制，赵密进武功大夫，升统制。
吕颐浩见其出言不逊，态度倔强，便痛斥道：“班直常日教阅，何尝有两箭上贴！本日之事，谁为国度死战者？”
众卫士本就因诏令不满，又被吕颐浩当众斥责，顿时群情激奋，便有卫士揪住吕颐浩，欲将其打杀。
此时恰好参知政事范宗尹来到，赶紧上前好言相劝道：“此岂能够口舌争？”其他众官将卫士阻住，范宗尹趁乱将吕颐浩救出，拉其衣衿，引入殿中。
高宗天子听到吕颐浩出海流亡的建议，心中大喜，但大要不动声色，沉吟很久火线说道：“此事可行，卿等熟议。来日，召侍从、台谏至都堂，参议可否。”
随后明州守臣刘洪道、浙东副总管张思政率州兵于金军两侧杀出，箭如雨下，数人合兵一处，大破金军，斩首数千。
数日以后，兀术亲率雄师来援。动静传入城中，张俊自知城池破败，难敌雄师，便传令全城，命百姓自行流亡。而本身则与张思政、刘洪道引兵退入台州，明州住民去者十之七八。
次日，众臣议定出海之事，高宗天子立即返回越州。到得越州后高宗天子仍不敢留，便命安抚使李邺、两浙宣抚副使郭仲荀等守越州，本身则率百官往明州登船出海。
阿里和蒲鲁浑清算兵马，而后派人欲说降张俊。张俊怒杀金使，并警告部下将士不得骄惰，以防金军再犯，同时命令坚壁清野，于水路各处以轻舟伏弩，以阻金军。
兀术得了临安府，令部下大将迪虎攻打钱塘县。城中知县朱晔，为人忠肝义胆，闻兀术来犯，乃与康允之商讨，愿自率弓手、率军往前路拒敌，使杭州百姓能够逃脱生天，康允之同其意。
此令一出，顿时引来卫士不满，世人齐聚于主管禁卫入内内侍省都知陈宥面前道：“我有父母，有老婆，不知二者如何去留？”陈宥闻言，心中不忍，但诏令已出，却也无可何如，只得好生安慰世人。
临安知府康允之闻兀术雄师已到，不战弃城而逃，退保赭山。兀术雄师几近是兵不血刃便攻破临安府，尽收府库赋税供应军马。
张俊此时为高宗天子断后，便使统制刘宝与之交兵。却被金军杀的溃不成军。正在危急之时，张俊部将、御前右军统领杨沂中于舟船上瞥见，心中火起，便批示舟船泊岸，与田师中、赵密杀入金军中，力战多时，斩金军数百。随后殿帅李质引班直来助，与金军杀伤相称。