Kastavin kaupungilla on takanaan myrskyisä historia. Arkeologiset löydöt todistavat Japodin, illyrialaisen heimon oleskelleen nykyisen kaupungin alueella 1100-luvulla e.Kr. Sen jälkeen aluetta hallitsivat roomalaiset itägoottilaiset, kreikkalaiset ja lombardit. Kroaatit ovat asuneet alueella 700-luvulta lähtien.
Keskiajalla Kastavin alueen kirkollinen valta oli Pulan arkkipiispoilla. 1100-luvulta lähtien maallista valtaa pitivät Duinon kreivit (Duin sijaitsee lähellä Triesteä), heidän tilalleen astuivat vuoden 1400 paikkeilla Walsean kreivit joiden aikana laadittiin myös Kastavin kaupungin lait. Vuonna 1465 siirtyi alue Habsburgien omistukseen. Vuodesta 1630 vuoteen 1773 Kastavin alue kuului jesuiiteille. Jesuiittijärjestön lakkauttamisen jälkeen Kastav siirtyi Itävallan hovikamarin hallintaan. Kastavin omistajat vaihtuivat useaan otteeseen vuoteen 1848 saakka, jolloin kaupunki julistettiin vapaaksi ja läänitykset lakkautettiin.
1800-luku oli Kastavin alueelle ja sen asukkaille kansallisen heräämisen aikaa. Tänä aikana perustettiin lukuisia kultturi-instituutioita, jotka vaalivat kroatian kieltä ja kansallisidentiteettiä. Kastavin alue on edelleen tunnettu lukuisien taiteilijoiden toiminnasta.
Ensimmäisen maailmansodan jälkeen kaupungin ja sen ympäristön jakoivat Italian kuningaskunta ja Jugoslavian kuningaskunta vuoteen 1945 saakka, jolloin Kastav jälleen liitettiin Kroatiaan ja sen mukana Jugoslavian valtioon. Kroatia itsenäistyi vuonna 1991 ja Kastav sai takaisin kaupunkioikeudet vuonna 1997.
Suurkaupunkien vilskeen ulkopuolella Kastav on säilyttänyt vuosisatojen saatossa rikkaan historiansa, lukuisat muistomerkkinsä, kulttuurinsa ja koskettamattoman luontonsa. Kastav tarjoaa kaikkea: korkeatasoisia musiikki ja teatteriesityksiä, markkinatunnelmaa ja karnevaalihulinaa. Luonnosta pitävät voivat patikoida Kastavin pohjoispuolella sijaitsevalla Luzinan metsäalueella, jonka halki kulkee antiikin aikaista tietä seuraava eurooppalainen vaellusreitti E 6. Tie yhdistää Itämeren ja Adrianmeren rannikot toisiinsa. Historiasta kiinnostuneet voivat pistäytyä museoissa ja kierrellä kaupungin vanhoja kivimuureja. Nälän yllätettyä vierailijat voivat poiketa paikallisissa ravintoloissa nauttimassa a la carte-aterian tai kokeilla paikallisia herkkuja unohtamatta korkeatasoista viinivalikoimaa.
