Rousset, Rosset en vivaro-alpin, est attesté en 1050 dans le Cartulaire de l'Abbaye de Saint Victor ; nous y trouvons Rousset sous sa forme latine Rossetum, puis Roset en 1080 dans ce même document.
Ce toponyme, d'après Ernest Nègre, découlerait du coloris de champs aux coloris un peu fauve, un peu roux. Le barrage de Serre-Ponçon ayant totalement modifié la morphologie des lieux, nous ne pourrons vérifier la couleur des champs au cœur de l'été et près de la Durance.