Ce site de hauteur témoigne encore de sa vocation défensive passée. Les ruines de l’ancien château fortifié, construit sur trois rochers, dominent toute la vallée de la Bléone. La chapelle Sainte-Agathe, contigüe au château, est elle aussi bâtie sur le roc.

Le village, si l’on en croit la tradition, doit son nom aux lézards des murailles qui vivent ici «li lagramuso» en provençal. La terre est aride et l’ensoleillement exceptionnel. Au XIXe siècle, l’abbé Féraud écrivait : «Le climat est bon, les habitants très pauvres, le sol pierreux et ne produisant que peu de grain et beaucoup de bois». L’exode rural a donc été massif à Lagremuse. La population passe de 80 habitants en 1765 à 66 en1844. En 1867, la commune de Lagremuse est rattachée à celle du Chaffaut-St-Jurson. Après la première guerre mondiale, le village est entièrement dépeuplé. Des anciens jardins étagés en contrebas de Lagremuse ne restent que quelques mur de pierre, et des vignes plantées au sud-ouest que quelques ceps abandonnés. Seules les anciennes oliveraies ont été restaurées récemment avec soin par leurs propriétaires.