玉林原是百越民族居住之地。先秦时期，处在原始社会末期，是百越民族分布的地区之一，居住着西瓯、骆越等部族。战国后期，出现西瓯君和骆候，瓯骆人开始出现阶级分化。秦始皇统一岭南后，在岭南设置南海郡、桂林郡和象郡。市境开始政建制，隶属象郡、桂林郡。秦二世，继任南海慰秦将赵佗兼并桂林郡、象郡,辖据岭南，汉初建立南越国，市境隶属南越国。公元前112年，汉武帝平定南越，次年在岭南设置南海、苍梧、郁林、合浦、交趾、九真、日南、珠崖、儋耳9郡，其中在今天广西地区境内有苍梧、郁林、合浦3郡（当时属于交州）。今玉林市兴业县属郁林郡；玉州区、福绵管理区、容县、北流市、陆川县、博白县属合浦郡。

汉代设立郁林郡。西汉元鼎六年（公元前111年）始置郁林郡，郡治布山县（今贵港市）[2]，王莽新朝（9–23年）改郁林郡为郁平郡（后复置），隋开皇年间（581–600年）废郁林郡，大业初（605–618年）复置。原治所一说在今贵港市港北区贵城镇，一说在今桂平市蒙圩镇新德古城村，隋朝徙今贵港市港南区东津镇郁江南岸。汉元封五年（前106年）属交趾刺史部，建安八年（203年）属交州刺史部。