Redan under stenålderstid fanns det boplatser på Asperö men det var först på 1500-talet som en bebyggelse växte fram som vi vet något om. Det öär den så kallade Gården som omfattade ett tiotal hus och som låg på en ås söder om den nuvarande byn. I samband med en stor inflyttning i början av 1700-talet växte en by fram intill stranden på Asperös norra sida. Byggnaderna var små, låga enkelhus och mellan dessa låg rader av ladugårdar och uthus. Delar av denna bebyggelse finns ännu kvar. En modernare bebyggelse har vuxit fram efter laga skifte 1959.