Asby socken omnämns första gången 1208. Den är belägen i länets sydöstra del. Kyrkan är belägen mitt i Asby samhälle, som vuxit fram runt kyrkbyn. På andra sidan landsvägen och vid östra kanten av Lillsjön är prästgården belägen. Kyrkogården omgärdas av en stenmur med ingång från väster. Sydöst om kyrkan finns en klockstapel. Den har en klockbockskonstruktion, inklädd med rödfärgat och tjärat spån.
Fragment av tidigkristna gravmonument i sten, blev funna i sakristians mur 1958. Bl a utifrån dessa fynd har det tolkats att det funnits en äldre träkyrka på platsen för den nuvarande kyrkan. Den nuvarande kyrkans byggnadshistoria är inte helt klarlagd, men sannolikt uppfördes den under 1200-talet med ett murat rektangulärt långhus och ett smalare kor med absid. Huruvida kyrkan ursprungligen uppfördes med sakristia eller om den tillbyggdes på 1400-talet är inte helt klarlagt. På korets södra sida finns även en bevarad ursprunglig kordörr. Kyrkan hade sannolikt öppen takstol, vilket påträffade kalkmålningar, daterade till 1200-tal, på korväggen över valven tyder på. Under 1400-talet försågs långhuset med valv och dekorerades med nya kalkmålningar tillhörande Risingeskolan. Långhuset förlängdes åt väster redan under 1500-talets slut eller under 1600-talets början och kyrkan dekorerades på nytt med kalkmålningar. År 1687 och 1733 uppfördes norra respektive södra korsarmen av timmer. Mellan år 1749-1751 ersattes de medeltida valven i långhuset med trätunnvalv. I samband med dessa förändringar nedmonterades sannolikt även ett västtorn eller en takryttare, vilken delvis återanvändes bl a i den befintliga klockstapeln. Delar av det rivna tornet eller takryttarens träkonstruktion är dendrokronologiskt daterad till 1240-talet. Vid denna tidpunkt ska även ett nytt vapenhus ha uppförts.