秋谷一连告戒了几次，他们大家那里肯听！有一天不知怎样的，见了祁祖云祁侍郎的家人在门外强买对象，众人不服起来，一拥而上齐声喝阻。那家人是平日放肆惯了，看得这班人那里在他心上？三言两语争闹起来。众人心中大怒，先把那家人打了一顿，又堵着祁侍郎的门口骂了一场。祁侍郎见人多了，不敢出头，凭着众人骂了一场去了。祁侍郎心中怀恨，便叫个门下的走狗叫做康长垣的出去打听了一回，方才知道这几个人都是章秋谷的徒弟。

祁侍郎听得提到章秋谷的名字，便觉得怒从心起，恶向胆生，口中说道：“这个小畜生前一次把我撞了一交，我还没有去寻着他，他倒指使了这班混帐东西来上门骂人。我若不给他一个手段叫他知道我的利害，我这个‘祁’字也不用姓了！”

说着，便会齐了那些走狗，密密的商议。一个走狗便走上前来，附耳说道：“他聚众教拳，本来有干例禁的。我们如今只说他是会匪的头目，聚了许多党羽教演拳棒。

只要这个风声一传出去，只怕他吃不了要兜着走呢！“祁侍郎听了十分欢喜，连连的点头道好。又鬼鬼祟祟的商量了一回，方才大家散了。

果然不多几日，常熟城内传出几句谣言来，只说章秋谷是会匪的头目。更有几个无耻的劣绅，大家都附和起来。章秋谷的一班亲戚、朋友听了这些说话，大家都十分不忿，一个个都对着章秋谷说，叫他设法分辩。章秋谷却付之一笑，不去理会，只说：“一个人的毁誉是说不定的。他们这般传说，只顾凭他们去传说就是了。我只要问心无愧，何必要去分辩？况且这般龌龊小人，即如华廷栋和祁伯田等这班宝贝，素来被我讥诮奚落惯的，恨我好似切骨仇人的一般。就是向他分辩，他还只道我自己心虚，所以这般着急。还是凭他去怎样兴谣造诼，将来自有明白的日子。”

他夫人和陈文仙听了，也只得由他。