Im Jahre 1807 brannte Neheim zum wiederholten Mal fast vollständig ab. Als 1816 das Herzogtum Westfalen durch die Beschlüsse des Wiener Kongresses zu Preußen kam, lebten in der kleinen Ackerbürgerstadt Neheim 1302 Einwohner in bitterer Armut. Der erste Oberpräsident der preussischen Provinz Westfalen, Freiherr von Finke, sorgte in den folgenden Jahren auch in Neheim für eine fortschrittliche Entwicklung. Die kleine Stadt am Zusammenfluß von Ruhr und Möhne wurde durch neue befestigte Straßen mit den Städten Werl und Menden und damit an überregionale Handelswege angeschlossen. Da Neheim über reichlich vorhandene Wasserkraft verfügte, wurden bald einige Industriepioniere angelockt. Bald entstanden die ersten Industrieunternehmen. Leute wie Wolff, Cosack und Tappe sorgten für die Entwicklung Neheims zur Industriestadt. Diese Tatsache zog viele neue Einwohner nach Neheim. Die neuzugezogenen Bewohner wurden weitestgehens von dem gesellschaftlichen Leben ihrer neuen Heimatstadt ausgeschlossen. So durfte beispielsweise nur am Schützenfest teilnehmen, wer katholisch und Hausbesitzer war, und deren erstgeborene Söhne. Deshalb beantragten damals 10 fortschrittlich gesinnte Männer beim damaligen Bürgermeister Dinklage die Feier eines allgemeinen Volksfestes in Neheim. Man schrieb an den Magistrat: „Mehrere Eingesessene der Stadt Neheim fühlen sich veranlaßt, ein allgemeines Volksfest unter dem Namen Jägerfest zu gründen, woran der A**e wie der Reiche, der Eingesessene wie der Fremde, der verheiratete wie der Unverheiratete teilnehmen kann." Nach erheblichen Schwierigkeiten bekam man diese Genehmigung erst nach Intervention von höchster Stelle. Die Gründer des Jägervereins waren fast identisch mit den vorher erwähnten Industriepionieren und anderen fortschrittlich denkenden Männern. Zum ersten Oberst des Jägervereins wählte man Friedrich Wilhelm Brökelmann. Am 1.September 1834 wurde das erste Jägerfest in Neheim gefeiert. Bis heute findet dieses Jägerfest, von Kriegsunterbrechungen abgesehen, alle 2 Jahre statt. Nach dem 2.Weltkrieg fand im Jahre 1956 das erste Jägerfest auf dem Platz an der Möhne statt. Heute ist der Jägerverein ein eingetragener Verein und richtet alle 2 Jahre mitten in der Innenstadt Neheims, auf dem Marktplatz, das große Neheimer Volksfest aus.
