Fiversätraö, Från torp och utmark till sommarstugeö