吕布离了袁术改投袁绍，这次倒是被袁绍接纳。袁绍利用吕布勇武讨伐黑山军，吕布骑着赤兔马腾跃城墙、飞跨壕沟，黑山军无人可挡。再加上有魏续、成廉等猛将助阵，更是势如破竹。
于毒、左髭丈八不敌吕布先后被杀，陶升等人投靠了袁绍。杨凤、白绕见袁绍、吕布如此厉害才明白当初张燕、郭太为何要投靠远在交州的南烨。他们此时悔不当初，也想领兵南下投靠南烨、张燕，并与冀州镖局取得了联系。
袁绍此时已经在北方做大，又有吕布助阵，渐渐不再将远在交州的南烨放在眼里。他可不愿看到杨凤、白绕带着大批人口、财物去投南烨，于是遣人中途截杀杨凤、白绕，尽夺其兵马钱粮。自此黑山军分崩离析，皆被袁绍、吕布所灭。
吕布仗恃自己剿灭黑山的战功，傲慢袁绍手下将士，又向袁绍要求增兵。袁绍不答应，吕布便命手下将士四处劫掠，袁绍自此深恨吕布。
吕布自知得罪了袁绍便请求回洛阳。