Blev ansat på Odense Friskole og efter faderens død i 1913 flyttede hans mor i en periode til Odense. Roar Skovmand fortæller at han nærmest var plejebarn der i vinteren 1914-1915.

Holger valgte efter genforeningen i 1920 at tage til Sønderjylland og arbejde for danskheden. Kendte åbenbart H. P. Hanssen samt havde kontakt til Jacob Appel (forestander på Askov Højskole) og Jefsen-Christensen.

Holger og hustruen Ester fik 5 børn.

Børn:
Erik Skovmand ( 28.06.1916 - ? 9 Højskoleforstander. gift med Ragna Skovmand ( 25.08.1913 - ? ) 5 børn
Kirsten Rasch f. Skovmand, gift med Aage Rasch - begge døde ved flystyrt ? 2 børn
Gudmund Skovmand 8 02.03.1920 - ? ) Disponent, gift med Tove Skovmand 8 30.04.1918. - ? ) 1 barn
Ingeborg Fogh, f. Skovmand ( 21.07.1926 ) Overlærer, gift med Skoleinspektør Erling Fogh. Højen ved Vejle. ( 15.11.1925 - død sidste år . tror jeg) 5 børn.
Poul Anker Skovmand ( 22.10.1928 - ) lever endnu? Over meteorologkontrollør. gift med Gretha skovmand ( 01.01.1932) Hun var med til Bodils fødselsdag. Sygehjælper. 4 børn
Elisabeth Birkholm, ( 10.06.1930 - ? ) . hjemmehjælper, gift med kommunegartner Bruno Birkholm.