将李纲召回后，钦宗天子又命种师道为两河宣抚使代替，而太原之围未解，倒是赔上了数万人马，钦宗天子之昏庸，朝中奸臣之横行，可见一斑。
随后诏谕命李纲回京，以后钦宗天子授任李纲为观文殿学士、扬州知州，李纲此时已经心灰意冷，因而上奏要求去官，不准。但随后不久，钦宗天子便听信谗言，以其“专主战议，丧师费财”为由，将其贬为提举亳州明道宫，责授保静军节度副使，在建昌军安设；后又贬谪到宁江，李纲无法起家，离京远去。
但李纲这番良苦用心哪能被昏庸的钦宗天子所接管？因而在其北进怀州之时，钦宗天子被奸臣以其“惟辟作威，惟辟作福，大臣擅权，浸不生长”之言说动，降诏罢减所起之兵。
钦宗天子听信谗言，便欲以李纲为帅，率军前去救济太原，李纲大惊道：“臣本墨客，委实不知兵事。当日被君臣被围城中，不得已才为陛下摒挡兵事，今使为大帅，恐误国事。”钦宗天子不准。因而在退朝以后，李纲便称病请去官回籍，连上十数道奏章，俱被钦宗天子采纳。
而此时种师中兵败，太原之围难明，而种师道因其弟身故，病重去官而退，因而尚书中丞耿南仲趁机进谗言道：“若要解太原之围，非李纲不成。”
李纲屯兵河阳，练习士卒，修整甲兵，又前去祭拜陵墓，而后上奏道：“臣领兵过巩县、洛阳，拜祭陵墓，不由落泪。想到祖宗创业守成，达二百年，传至陛下。正逢艰巨之时，劲敌入侵，中原权势弱弱，实是陛下卧薪尝胆，力求报国，励精图治之时，望陛下细心讲求祖宗之法，一一加以推行，重用君子，斥退小人，安定国度底子，以图谋复兴，上以安抚九朝先祖英魂，下以作为亿万生民依托，如此则天下幸甚！”
就在宋军连败，朝廷当中争论不休之时，金军疗养已足，金太宗诏谕一出，起雄师十五万再度南下。