Folket brukte å la sauene gå på beite på Torskeøya. Årsaken var at det luska bjørn i området, og småfeet gikk noenlunde trygt der. Likevel hendte det at bjørnen tok seg over og fikk seg en og annen middag.

Man tror at Kongsnes har fått navnet av at det en gang i tiden har vært Kongens eller kronens eiendom. Plassen ble lagt øde i 1946. I dag vises fortsatt spor etter bosetting, med støer og husmurer. Litt opp fra stranda ligger en nedlagt kirkegård.

Kjerringvika har fått navn etter en steinfigur som likner på ei kjerring på toppen av fjellet bygda ligger ved, Kjerringberget. De store steinene i fjæra stilte krav til den som skulle på land her. Gården hadde flere fordeler utenom fisken. Det var god jord og mye rekved som kunne brukes til brensel. Det ble også dyrket korn her en gang på 1700-tallet. Helt vest i bukta er det funnet tufter etter ei steinalderbosetting (4000-6000 f. Kr.), ei flott tuft fra jernalder (35 m lang) og en merkelig gårdshaug (middelalder) midt oppe på jorda. Denne dominerer landskapet nede i bukta. Ellers fins tufter fra senere tids bosetting og et par støer.

I en fiskerik tid på 13-1400-tallet antas folketallet å ha vært relativt stort. Likevel ble Kjerringvika fraflyttet for siste gang så tidlig om i 1803.