Povijesna struktura Jelse oblikovala se još u srednjem vijeku i to na položaju Glavica kod crkve sv. Marije uz samu obalu mora na izvoru vode, a ovaj opis sačuvan nam je zapisan još u Hvarskom statutu 1331. godine (…ad fontem vocatum Jelsa, qui est prope mare salsum…). Nedaleko do sv. Marije u okolišu sv. Ivana grade se kuće u XV. stoljeću, a pred sam konac i na zapadnoj strani gdje je crkva sv. Roka, uokvirujući prostor južnog dijela uvale nazvan Vela Banda. Sjeverna strana uvale poznata kao Mala Banda počinje se formirati krajem XV. st. uz crkvu sv. Mihovila.
Sačuvana aglomeracija zaokružuje se u XVIII. st., ali osobito doživljava svoj procvat, kada se zbog uređenja luke polovinom XIX st. isušuje močvara između Vele i Male Bande, te na njenom mjestu 1871. godine nastaje najljepši perivoj u Dalmaciji.
Prilaz morem u luku prirodno je zaštićen s istočne strane poluotokom Gradina nekad opasan zidom opsega od ukupno 800 m, unutar kojeg je bilo 6 i pol hektara prostora. Pristup na poluotok je zatvoren i danas sačuvanim zidinama dužine 172 m, debljine 1,30 m, visine mjestimice i do 3 m.
Neki istraživači smatraju se da je čitavi fortificirani prostor poluotoka Gradine najvjerojatnije ono staro utvrđeno naselje Jelse – Civitas vetus Ielsae iz srednjovjekovnog hvarskog Statuta.
Unutar zidina poluotoka Gradina gradi se 1605. godine samostan Augustinaca sa crkvom, kojoj je dozvola celebriranja udijeljena 1611. godine. Unutar dvora samostana pokapaju se članovi velike bratovštine Gospe od Cinture. Razvlaštenje crkve i samostana krajem 19. stoljeća prouzrokovalo je početak njenog rušenja, međutim ostaje samo bratovština ukinuta 1807. godine. Proširivanjem mjesnog groblja 1950. počinje se rušiti samostan, dok se crkva obnavlja i rekonstruira 1867. godine.
Koliko je bila impresivna antička i srednjovjekovna povijest na prostoru današnje općine Jelsa, ukazuje opis njenih monumentalnih spomenika početkom 16. st., u knjizi „De origine suceessibusque Slavorum“ hvarskog dominikanca Vinka Pribojevića, tiskane u Veneciji 1532. godine.
S tim mjestom o kojem govorim, natječu se u ruševinama palača i hramova druga dva mjesta na morskoj obali, koji se danomice sve više razvijaju (Jelsa i Vrboska)...
Još i danas postoji među brdima gotovo neoštećena gradina (Gališnik) dižući se nad gradom, koji je zapremao istočni dio polja. Na domet strijele od nje nalazi se kula (Tor) od četverouglastog kamenja neobične veličine s jednim uskim ulazom, na kojoj se zbog starine ne vidi nikakav trag žbuke.
Zanimljivo je da su i danas jako dobro vidljivi ostaci arhitekture u neposrednoj blizini Jelse. Uklopljeni u mediteranski ambijent sa samim mjestom, zrcalo su sačuvanog kulturnog krajolika još do antičkih vremena.
Obilje vode te plodno polje gdje se i danas težaci koriste antičkim putovima, uz ostatke rimskih vila rustika, prezentiran je jedinstveni kulturni prostor na otoku, naseljavan u dalekoj prapovijesti.
Južno od mjesta Jelsa, svega 30 – tak minuta hoda, uspinje se starim putem prema impozantnim zdanjima jedinstvenim spomenicima sačuvanog graditeljstva od prapovijesti do srednjeg vijeka. Zapadno je poznata antička kula Tor podignuta krajem 4 st. pr. K., uz zidine gradine iz željeznog doba. Nedaleko od Tora na domet strijele je kako to veli Pribojević utvrđenje Gališnik, čiji početci fortifikacije sežu još iz kasne antike. Također zbog svog specifičnog položaja i arhitekture Gališnik se spominje i kod određivanja granica općinskog srednjovjekovnog teritorija: Confines territorii …eundo per filum ad Castrum Vetus, quod vocatur Galicnich.
— Općina Jelsa
Photo by Juloml, Hvar Jelsa, 2006, CC BY-SA 3.0, https://hr.wikipedia.org/wiki/Jelsa#/media/File:Hvar_Jelsa.jpg