Poligny est constitué de trois petits hameaux. Le village à proprement parler où se trouve l'église. Les Forestons, situé à 1,5 km à l'ouest et Villeneuve à 1,5 km au sud. A ces trois hameaux s'ajoute un petit groupe de maisons, les Basses Baraques, au bord du Drac.