Noch im Jahr 1868, am 02.03., wurde mit dem Bau der Eisenbahnstrecke begonnen. Der erste Spatenstich war am 07.03.1869. Von diesem Zeitpunkt an wurden die Arbeiten zur Bauausführung und zur Lieferung von Materialien ausgeschrieben.

Die landschaftlichen Gegebenheiten hatten zur Folge, dass sich die Arbeiten als schwierig darstellten. Aus diesem Grund wurde zu Beginn die Strecke eingleisig geführt und nach und nach in eine Zweigleisigkeit umgewandelt.

So mussten sieben Tunnel zwischen Neheim-Hüsten und Bredelar erstellt werden. Längster Tunnel mit einer Länge von 1.393 m ist der Elleringhauser Tunnel zwischen Olsberg und Brilon-Wald. Außerdem war zwischen Schwerte und Brilon-Wald ein Höhenunterschied von 320 m zu überwinden. Zahlreiche Brücken und Viadukte waren zu bauen. An mehreren Stellen musste die Ruhr verlegt werden.

Die Strecke von Schwerte bis Warburg konnte ab dem 06.01.1873, also ab einer Bauzeit von vier Jahren, durchgängig befahren werden.