苗傅听到王渊的动静，忿忿不平对刘正彦说道：“吾家屡有军功，勤奋王室，止得一统制。王渊有何功劳，可专大权？只因其私结康履，使圣上信其媚言，骤迁显职，况其只顾搜刮，中饱私囊，对朝廷有何忠义之心？若不诛之，必成大患”
此时金军东路完颜宗辅命其弟兀术持续南侵，兀术闻得高宗天子渡江流亡杭州，便命刘豫知东平府，充京东、西、淮南等路安抚使，节度大名、开德府、濮、滨、博、棣、德、沧等州，而以其子承务郎刘麟知济南府。自旧河以南，皆为刘豫所得。而本身则厉兵秣马，筹办直取杭州。
此时高宗天子担忧金军渡江来袭，便命大将杨惟忠守金陵，刘光世守京口，王渊守姑苏，分受二大臣节度。而韩世忠在海道未还，范琼自寿春渡淮，引兵之淮西境上。是以杭州护驾者惟苗傅一军罢了。
当时黄、汪二贼在朝中怨声极大，御史中丞张徵上书弹劾两人大罪二十，大略意义为：“潜善等初无措置，但固留陛下，致万乘蒙尘，其罪一；制止士大夫搬场，立法过严，议者咸云：天子六宫过江静处，我辈岂不是人？使一旦委敌，归怨人主，其罪二；自真楚通泰以南，州郡皆碎于溃兵，重失民气，其罪三；祖宗神主神御不先渡江，一旦车驾起，则仅一两卒舁，致倾摇透露，行路之人酸鼻下泪，宗庙颠沛，其罪四；建炎初年，河南止破三郡，自潜善等柄任以来，直至淮上，所存无几，其罪五；士大夫既不预知渡江之期，一旦流浪，多被搏斗，其罪六；行在军兵，津渡不时，匆急崩溃，流毒东南，其罪七；左帑金帛甚多，不令装载，尽为敌有，府库耗散，其罪八；自澶濮至扬州，咸被杀掠，生灵涂炭，其罪九；谢克家、李擢俱受伪命，而反进用，其罪十；潜长于王黼为相时，致位侍从，故本日侍从、卿监多王黼之客，伯彦则援引梁子美亲党，牢不成破，罪十一；职事官言时病者，皆付御史台抄节申尚书省，梗阻言路，罪十二；用朝廷名爵以胁士大夫，罪十三；行在京师，各置百司，设官反复，耗蠹国用，如以巡幸而置御营使司，则枢密院为虚设，置提举财用，则户部为备员，罪十四；许景衡建渡江之议，挤之至死，罪十五；身为御营使，多占兵卫，不避怀疑，罪十六；仇敌相距，斥堠全无，止据道涂之言为真，致此狼狈，罪十七；敌骑巳近，尚敢挽留车驾，罪十八；卢益自散官中引为八座，遂进枢副，伯彦之客为起居郎，有罪补外，遂除集英殿修撰，二人朋比，专务欺君，罪十九；国度殆辱，不知引罪，罪二十。”
此时黄潜善、汪伯彦晓得本身民怨极大，如果再留于朝廷当中，身居高位，只怕祸害更大，因而入内求见高宗天子。
奏章来到高宗天子案前，细心旁观后回想当日在扬州时因黄、汪二人不察，乃至兵临城下方知，又兼遭到惊吓，使得面对后宫如花美眷，竟然有力处置，诸事各种，令高宗天子更加悔恨二人。
刘正彦此时也喝酒正酣，因王渊在本身征讨丁进一事上封赏不敷，并且征檄其兵马而早生凶悍，因而咬牙切齿道：“公所言甚是，当与公同去此辈。吾虽由王渊保举，却也对其所为不齿。现在圣上偏听偏信，又有康履等内侍跋扈，只怕难复当年盛景。若能借此良机，除奸党而后改立皇子，使隆祐太后临朝听政，到时移檄于天下，更使我等废立驰名，亦是为国尽忠也。”
此举一出，顿时令将士大为不满。而康履因与王渊结党，气势更甚，毫不把诸将放在眼中。高宗天子在扬州时，便喜康履，因此其妄作威福，诸将多对其厌之。一起南逃过程中，摆布宦者不但无涓滴紧急之心，反于江中以射鸭为乐。来到杭州安宁下来后，更是尽情妄为，江下观潮，中官供帐，鲜明遮道，世人皆恶其行。