L'élément le plus imposant du domaine est sans conteste la chapelle, encore appelée chapelle des Templiers. Elle est inscrite à l'Inventaire Supplémentaire des Monuments Historiques. On peut encore voir à l'intérieur du choeur des traces assez importantes de fresques.
La cité se présente comme une de ces petites villes qui ont connu la prospérité très tôt au cours de notre histoire. Les Templiers s'y installent au début du XIIe siècle puis suivront d'autres communautés religieuses qui participeront de manière très importante au développement de la ville.
Le Castrum permet de résister aux invasions barbares et sarrasines, en attendant le XIIème siècle et les solides remparts des Templiers. On peut admirer de nos jours les restes de ces fortifications entre autres rue des Tours, ainsi que les Portes Tre-Barri et Sarrasine et la Tour de la Citadelle.
A l'intérieur de la ville et à proximité de la porte principale fortifiée ( Sarrazine ), les Templiers avaient aménagé un enclos, sorte d'îlot indépendant constitué d'une cour, d'un porche d'accés, d'un entrepôt, d'un cellier et de quelques bâtiments divers dont une partie désignée par les historiens lorguais comme étant une chapelle, mais qui pouvait constituer une salle capitulaire indispensable aux Templiers pour tenir chapitre.
Les Templiers possédaient également dans la ville un certain nombre d'immeubles issus d'acquisitions ou de donations. Par ailleurs, les transactions permanentes effectuées par les Templiers obligeaient ceux-ci à recevoir des étrangers, comme l'hospitalité de l'ordre l'imposait. Une hôtellerie et une auberge furent installées et tenues par des gens du Temple.
Lors de la suppression de l'ordre en 1312, la quasi totalité des biens du Temple à Lorgues revinrent aux Cisterciens du Thoronet.
