Josef Franke wurde 1876 als Sohn einer Bauunternehmer-Familie in Wattenscheid geboren. Nach einer Lehre zum Maurer und einer Ausbildung an der Baugewerkschule Höxter bildete er sich von 1898 bis 1901 an der Technischen Hochschule Charlottenburg zum Architekten fort. Nachdem er erste berufliche Erfahrungen in Freiburg und Köln gesammelt hatte, ließ er sich 1903 als freier Architekt in Ückendorf nieder, das soeben ein Stadtteil von Gelsenkirchen geworden war. Aus seiner Ehe mit Therese Bomers gingen sechs Kinder hervor, darunter Margarete Franke (1909-2011), die seit den 1930er Jahren als Künstlerin und Innenarchitektin in Gelsenkirchen wirkte und eng mit ihrem Vater zusammenarbeitete. Für seine Familie erbaute er 1910 ein Wohnhaus an der heutigen Robert-Koch-Str. 18, das mittlerweile unter Denkmalschutz steht.
In den folgenden Jahrzehnten realisierte Franke Bauten im gesamten Ruhrgebiet, allein in Bottrop gehen sechs Kirchen auf seine Entwürfe zurück. Schwerpunkt seiner Arbeit blieb aber stets Gelsenkirchen. Zu Frankes wichtigsten Bauten in Gelsenkirchen zählen u.a. das Wasserwerk und die Glückauf-Brauerei in Ückendorf, das Depot und das Verwaltungsgebäude der Bogestra, das Ricarda-Huch-Gymnasium sowie das Haus Ringeck in der Altstadt, die Siedlung Blumendelle in Schalke und die Dreifaltigkeitskirche im Haverkamp. Als sein Hauptwerk gilt die Heilig-Kreuz-Kirche in Ückendorf, die zwischen 1927 und 1929 entstand. Diese Parabelkirche im Stil des Backsteinexpressionismus ist eines der bedeutendsten Bau- und Kunstdenkmäler Gelsenkirchens.
Nach einer äußerst fruchtbaren Schaffensperiode in den 1920er Jahren, wurde es etwas ruhiger um Franke. Zu seinen letzten Großaufträgen gehörten der Bau einer Arbeitersiedlung für das Gelsenberg-Hydrierwerk in Horst ab 1936 sowie die St. Konrad-Kirche in Erle, die 1939 fertiggestellt wurde. Während des Zweiten Weltkrieg wurde er mit dem Bau mehrerer Hochbunker in Gelsenkirchen beauftragt, darunter der Arminbunker in der Altstadt. Am 16. Januar 1944 erlag Josef Franke mit 67 Jahren einem Schlaganfall. Er hat in Gelsenkirchen unübersehbare Spuren hinterlassen.