1905年，進士、歙縣人許承堯創辦新安中學堂，附設師范科，次年單設為徽州府紫陽師范學堂。

1913年改名省立五師(后稱二師)，校長胡晉接，校址遷休寧萬安。

1934年，在歙縣改建省立徽師，校長江植棠。解放后，王世杰為首任校長。

1952年，省政府落實周總理"要在黃山腳下辦好一所師范學校"的指示，撥款在現校址興建新校舍。

1968年被迫停辦。

1978年復校。

1999年起掛靠黃山高專、黃山學院辦學。

2000年，市委、市政府成立"徽州初等師范學院"籌建工作領導組。

2001年，市政府撤消黃山市教師進修學校，成建制并入徽師;向省政府申辦"徽州初師院"。

2005年10月舉辦建校百年慶典。2005年12月，省教育廳下達《關于同意組建黃山學院初等教育學院的批復》;次年4月舉行黃山學院初等教育學院掛牌儀式。

2012年，經省發展規劃處同意，掛靠合肥師范學院辦學。