
Na području današnjeg Gradca bio je smješten i srednjovjekovni grad, Lapčan ili Labinac, njega spominje bizantski car Konstantin Porfroge X. st. pod nazivom Labineca. Gradac se pod današnjim imenom prvi put spominje 1649. god. Dobio je ime po utvrdi koja se nalazila na uzvisini iznad današnje crkve Sv. Mihovila, a sagrađena je vjerojatno tijekom Kandijskog rata (1645 - 1669). Prema crtežu mletačkog vojnog inženjera i kartografa Giuseppea Santinia, koji prikazuje pomorsku i kopnenu mletačko- osmanlijsku bitku oko Gradca godine 1666. Kula je prikazana u plamenu.
U napuštenom zaselku Čista iznad Gradca, sjedište nekadašnje Fragostinove nahije i danas postoje ostaci stare kule iz XVI. st. Oko nj se i danas nalaze ostaci niza napuštenih kuća, koje imaju tipične značajke graditeljstva ovog kraja. Jedna od najstarijih postojećih građevina na području Gradca je kapela Sv.Paškvala na brdu Plana, nadsvođena bačvastim svodom, a prekrivena krovom na dvije vode.
Uz staru župnu crkvu Sv. Ante nalazi se mjesno groblje, a nova župna crkva Sv. Mhovila, sagrađena je 1852. g. u samom mjestu, na predjelu Gradina kasnoantičkom lokalitetu. U crkvi su tri mramorna oltara s kipovima, među kojima je najzanimljiviji stari drveni kip Sv. Roka. U crkvi se nalazi i stara kamena krstionica, vjerojatno podrijetlom iz stare crkve.