La structure historique de Jelsa s’est formée au Moyen-Âge, dans le secteur de Glavica à proximité de l'église Sainte-Marie près d'une source d'eau au bord de la mer: cette description figure dans les Statuts de Hvar datant de l'an 1331 (…ad fontem vocatum Jelsa, qui est prope mare salsum…). Au cours du XVème siècle, les maisons sont construites non loin de l'église Sainte-Marie à proximité de la place de Saint-Jean, et vers la fin du XVème siècle du côté ouest, autour de l'église Saint-Roch, encadrant ainsi l'espace de la partie méridionale de la baie, appelée Vela Banda. La partie septentrionale de la baie, appelée Mala Banda, commence à se former vers la fin du XVème siècle autour de l'église Saint-Michel.
L'agglomération conservée, dont les contours se définissent au XVIIIème siècle, connaît un renouveau au milieu du XIXème siècle après le desséchement du marais entre Vela Banda et Mala Banda à l'emplacement duquel est créé en 1871 le plus beau parc en Dalmatie.
L'accès maritime au port est protégé naturellement du côté est par la presqu'île Gradina autrefois entourée par un mur de 800 m de long, abritant à l'intérieur un espace de 6,5 hectares. L'accès à la presqu'île a été fermé par des murailles, toujours en bon état de conservation, d'une longueur de 172 m, d'une épaisseur de 1,30 m et atteignant parfois une hauteur de 3 m.
Certains chercheurs estiment que tout l'espace fortifié de la presqu'île de Gradina correspond probablement à la vieille ville fortifiée de Jelsa – Civitas vetus Ielsae mentionnée dans les statuts médiévaux de Hvar.
A l'intérieur des murs de la presqu'île, on construit en 1605 le couvent des Augustins avec l'église, qui obtient la permission de célébrer les messes en 1611. Les membres de la grande confrérie de Notre-Dame de la Ceinture sont enterrés dans le cimetière du couvent. La dépossession de l'église et du couvent vers la fin du XIXème siècle a provoqué le début de sa démolition, seule reste la confrérie qui sera dissoute en 1807. Suite à l'élargissement du cimetière du village en 1850, on commence à détruire le couvent, tandis que l'église est rénovée et reconstruite en 1867.
La description de son patrimoine culturel monumental au début du XVIème siècle dans le livre intitulé De origine suceessibusque Slavorum, imprimé à Venise en 1532, œuvre du prêtre dominicain originaire de Hvar, Vinko Pribojević, témoigne le mieux de l’impressionnant passé antique et médiéval de l’espace de la municipalité actuelle de Jelsa.
La cité dont je parle rivalise en ruines des palais et des temples avec deux autres cités situées au bord de la mer, qui se développent chaque jour (Jelsa i Vrboska)...
Aujourd’hui encore, on trouve au milieu des collines une forteresse presque intacte (Gališnik) qui surplombe la cité s’étendant dans la partie est de la vallée. A la portée de la flèche, en face de la forteresse on voit une tour (Tor) construite en pierres quadrangulaires de taille insolite, munie d’un passage étroit et si ancienne qu’il n’y plus aucune trace de plâtre sur sa façade.
Il est intéressant que les restes architecturaux à proximité immédiate de Jelsa sont encore très visibles de nos jours. Intégrés dans l’ambiance méditerranéenne avec la ville elle-même, ils reflètent le paysage culturel conservé de l’époque antique.
L’abondance de l’eau et la vallée fertile sillonnée de sentiers antiques utilisés encore aujourd’hui par les agriculteurs, avec les restes des villas rustiques romaines présentent un espace culturel unique sur l’île, peuplée depuis l’époque préhistorique lointaine.
Au sud de Jelsa, à seulement 30 minutes de marche, un sentier ancien monte vers les édifices imposants, monuments uniques du patrimoine architectural conservé s’étendant de l’époque préhistorique à l’époque médiévale. A l’ouest, on trouve la célèbre tour antique Tor construite vers la fin du IVème siècle avant J.-Ch., près des murailles de la forteresse datant de l’Âge de Fer. En face de la tour, à la portée de la flèche, comme l’a dit Pribojević, on trouve la fortification Gališnik, dont les débuts remontent à l’Antiquité tardive. Du fait de sa position spécifique et de son architecture, la fortification Gališnik est mentionnée également à propos de la délimitation du territoire de la cité médiévale: Confines territorii …eundo per filum ad Castrum Vetus, quod vocatur Galicnich.
— Općina Jelsa
Photo by Juloml, Hvar Jelsa, 2006, CC BY-SA 3.0, https://hr.wikipedia.org/wiki/Jelsa#/media/File:Hvar_Jelsa.jpg