Le castrum date du XIIIe siècle. Celui-ci fut le berceau de la famille des Villeneuve qui régna près de cinq siècles (du XIII° au XVII°) sur Les Arcs. Si le château existait déjà au X° siècle, sa morphologie n’a aucun rapport avec les vestiges actuellement visibles. Les plus anciens ne sont pas antérieurs au XIII° siècle. Le château, dont il ne reste que des ruines et un donjon dominant la plaine, fut le théâtre d’événements historiques comme la naissance de Ste Roseline et la signature d’actes importants concernant la Provence.
Le Comte et le coseigneur résidaient dans le castrum, c’est de la que vient le nom du « Parage », qui désigne le quartier des nobles, distinct et séparé du village d’en bas.