Kaugver sündis raamatupidaja perekonnas. Aastatel 1937–1943 õppis ta progümnaasiumis ja gümnaasiumis. 1943 põgenes ta Soome, kus astus 200. eesti jalaväerügementi. 1945–1949 oli sunnitöölaagris Vorkuta lähedal.
Aastail 1950–1961 teenis leiba Tallinna Trammitrustis, hiljem töötas ka kaevuri, puhkekodu abidirektori ja teatri kirjandusala juhatajana.
Aastast 1964 on ta kutseline kirjanik.
Oli Eesti Kongressi liige.
Tunnustused:
1989 – Friedebert Tuglase novelliauhind (novell "Elupäästja", Edasi 27. veebruar 1988 ja kogumikus "Kirjad laagrist", 1989)