绍兴元年春，朝廷对李成进行征讨之前，曾下令张用去援救被包围的江州，张用没有听从。后来因为李允文密谋消灭张用，虽然最后没有成功，但是曹成也移军到汉阳，一再相逼，张用只好又把部队移到咸寧县去。表面上他虽然与李允文互为声援，私底下却仍然与曹成等所率游寇藕断丝连。总之他就是不肯完全听从朝廷的指挥和号令。

绍兴元年六月，讨伐李成的工作大致完成之后，张俊的大军已经压在鄂州境上；这时另有一支游寇孔彦舟，因在潭州被马友屡次打败，所以向北流窜到汉阳；这么一来，在鄂州的李允文腹背受敌。张俊便把握住时机，夺取了李允文的军权。

当张俊的大军进入鄂州境时，马上让张用感到极大压力，只得离开咸寧渡江南下，移屯江西的分寧县冷家庄。曹成也率部跟随而来，驻屯在与冷家庄相距三十多里的吴仙镇。在张俊设计收夺李允文兵权的同时，也派遣岳飞到分寧去招降张用。

岳飞不但是张用的师兄，两人在东京附近还不只交手过一次，对于岳飞个人的武艺，以及他专门以少胜多的战绩，张用应当是再清楚不过了。岳飞目前的地位以及部队的实力已经大非昔比，现在朝廷又派他带领人马前来施加压力，进行招安，张用当然必须慎重加以考虑。

当天晚上，张用下令给驻屯在附近的游寇，次日一律要往吴仙镇集合，并且告诉他们可能要对岳飞的部队进行抗拒。

第二天，游冦诸军果真匯集到吴仙镇时，张用却带领自己的五万人马，在冷家庄军营中接受了张俊的招安。

八月八日，张俊在瑞昌县的丁家洲检阅张用的人马。张用被留在张俊军中担任统制。他所带的兵眾五万，强壮者都留在张俊军中，老弱者一律解散，任其自寻生路。这些所谓老弱者最后大都分别投入岳飞、韩世忠或曹成军中。