Formées il y a 700 000 ans à la fin de la dernière période glaciaire locale, les grottes sont le résultat d’une lente calcification de végétaux et de mousses par une immense cascade qui recouvrait l’ensemble de la falaise actuelle. La roche ainsi formée, du tuf, résulte donc de la fossilisation de ces végétaux.
Les grottes ainsi qu’une grande partie des champs autour du village appartenaient aux moines bénédictins de l’abbaye Saint-Victor de Marseille. Ils possédaient un prieuré alors installé à proximité de la chapelle Saint-Victor (attenante au cimetière actuel) et se servaient des grottes, encore dans leur état naturel, comme lieux de refuge en cas de razzias menées par les Sarrasins au 10ème siècle.
Ils échangèrent ensuite les grottes avec le seigneur de la vallée Nicolas d’Albertas. En 1566, celui-ci entreprit des travaux afin de fortifier le site et d’utiliser sa position imprenable. Cependant, il n’y a jamais eu de siège et personne n’a jamais vécu en permanence dans les grottes.
En 1633, elles ont été cédées à la commune et en demeurent sa propriété Elles ont été classées en 1924 au titre des Sites et Monuments Naturels à caractère artistique car elles allient deux critères : l’histoire et la géologie.
