Die erste urkundliche Erwähnung stammt aus dem Jahr 1334. Sie lautet auf „Goldarn“, später auch „Goldern“, was soviel bedeutet wie „bei den Goldwäschern“.
Eine rasche und eigenständige Entwicklung nahm Golling erst durch die Ende des vergangenen Jahrhunderts einsetzende Industriealisierung. Die „Erste österreichische Seilwarenfabrik“ wurde in der Folge ein weit über die Grenzen Österreichs hinaus bekanntes Unternehmen. Seine Besitzer errichteten hier eine Arbeiterkolonie mit Wohnungen für die Zuwanderer und schufen soziale Einrichtungen. Teile dieser – für die damaligen Verhältnisse beachtlichen – sozialen Wohnbauten sind noch heute zu sehen.
Im Jahre 1923 wurde durch die Trennung von Krummnußbaum die selbständige Gemeinde Golling geschaffen. Die Marktgemeinde Golling ist mit 2,71 km² zwar die flächenmäßig kleinste, doch mit derzeit 1.701 Einwohnern die dichtestbesiedelte des Verwaltungsbezirkes Melk.
1968 wurde Golling an der Erlauf über Beschluss der NÖ Landesregierung in Würdigung der besonderen wirtschaftlichen und kulturellen Bedeutung zur Marktgemeinde Golling erhoben. Im Jahr darauf erfolgte die Erhebung des Marktes zur Pfarre. Durch die großangelegte Bautätigkeit der letzten Jahre erfuhr das Ortsbild in den letzten Jahrzehnten eine vorteilhafte Veränderung.
Dies und die kontinuierliche Aufwärtsentwicklung auf allen Gebieten sind für das moderne Golling an der Erlauf charakteristisch.