后来董卓作乱的时候,董卓被吕布所杀,张绣的叔父张济与李傕、郭汜等人进攻长安,为董卓报仇。张绣跟随张济,以军功升至建忠将军,封宣威侯。
到了建安元年(196年)的时候,张济因军中缺粮,自关中引兵入荆州界,与刘表交战,攻穰城,中流矢而死。张绣接管了他的部队,收兵退出穰城。荆州官员知道后皆向刘表祝贺。
刘表却在这个时候说:“张济因穷途末路而来,我作为主人却如此无礼,这并非我的本意,故我只受吊唁而不受祝贺。”之后,刘表又派人招诱张济的余部,其众闻讯而大喜,尽皆服从。
刘表于是安排张绣屯兵于宛城,张绣成为刘表在北方的藩屏,替他抵御外敌。
不过在去年的时候,曹操南征,大军直达淯水,引兵与张绣交战,张绣自知不敌于是率众投降。曹操大喜,不过在接见张绣的时候,一下子就看中了张济的遗孀。