建安十二年，刘表病重，长子刘琦性格文弱，次子刘琮性情张扬，刚愎跋扈，二人皆非最好的继承人选，无法对抗如狼似虎的曹贼。于是，刘表想将荆州托付给吾，并对吾说：“吾儿不才，荆州文风鼎盛，武事凋零，想让您摄政荆州。”

吾心想：“吾虽然很想得到荆州，但是其这么提出来肯定是在试探吾，其肯定更希望自己的子女继承自己的位置。本来那么多大族之前来联系吾就已经引起了他的猜忌，现在吾若贸然答应的话，其肯定会有反制手段，搞不好现在已经握在手里的牌都保存不了，而且于吾苦心经营的仁德的名声不利。”

吾遂拒绝之。有人劝吾应该听从刘表的建议，吾曰：“刘表待吾不薄，如果吾取而代之，人们定会认为吾待刘表甚薄，所以，吾不忍心这样做。”

建安十三年，曹贼亲自率领七十万兵力南下，而此时刘表病故，次子刘琮因为背后有着蔡氏宗族的努力下继位，因为其被曹贼七十万兵马吓住了，遂遣使投降曹贼。吾屯兵于樊城，准备抗曹，并不知道曹贼已经到来，曹贼到了宛城才知道，随即便率军离开樊城。途经襄阳时，孔明建议吾直接攻打刘琮，占领荆州。碍于同宗的面子，吾不忍相夺。吾于城外喊刘琮出来，刘琮因为害怕不敢出来，因为刘琮的一系列做法，大家看出了刘琮的外强中干，在这个君择臣，臣亦择君的年代，其部下和很多荆州士人相继来投，到当阳时，部下有十万余众，辎重有数千辆。这导致了行军速度极慢。这样下去不是办法，于是让二弟带着百余艘船到江陵与自己会合。有人劝吾应该丢下百姓，毕竟兵贵神速。但是吾怎么忍心丢下这么多百姓呢？如果丢下这么多百姓，曹贼必会屠城，其在徐州就是这么干的。所以，吾坚决不同意这样干。