于是汉王朝在征服南越之后,回兵灭掉了且兰国,在当地设置且兰县。其他小国见状纷纷臣服于汉。由于犍为郡还包括川南的大片土地,为了加强对这一地区的管理,新设牂牁郡,以夜郎和且兰为中心,管辖贵州中西部、云南东南部和广西西北部的大片地区。于是在夜郎地区,存在着郡县治理和方国治理的双轨治理模式。
汉王朝设郡之后,感觉在当地驻防十分困难。因为当时虽修建了南夷道,但运粮的成本依然很高。而且当地各方国首领虽臣服于汉,但是其百姓仍时不时发动对当地官府的袭击。于是汉武帝采取“募豪民田南夷,人粟县官,而内受钱于都内”的办法,即招募内地的豪族大姓,如果他们可以与其附属农民一同迁入当地进行垦荒,就可以获得官职,他们出产的粮食交纳于当地官府,中央会从国库出钱支付粮价。于是,大量豪族迁入此地,势力最大的是“龙、傅、尹、董”四大族。他们逐渐在当地获得各方面的资源,支配着当地。
但汉姓大族的扩张也引发了当地统治者的不满,所以经常发动叛乱,汉军就得经常出军平叛。而夜郎的方国句町随同汉军平叛过程中,势力不断增强,甚至晋封为王。势力不断增强的句町,渐渐不满夜郎对自己的控制,于是二国之间于汉成帝时爆发战争,而夜郎王是战争的发起者,于是汉廷向其问罪,夜郎王自恃兵力拒不从命,汉廷索性出兵灭掉了统治当地400余年的夜郎国。