1888 wurde er von dem damaligen Ordinarius für Botanik Leopold Dippel als Inspektor an den Botanischen Garten der THD berufen. In seinen fast 40 Dienstjahren machte er den Garten zu einer im wahrsten Wortsinn weltberühmten Einrichtung. Umfangreiche Sammelreisen führten ihn nach Lappland und zweimal nach Mexiko. Großen Anteil an dem besonderen Rang der Darmstädter Sammlungen hatte sein älterer Bruder Carl Albert, der als professioneller „Pflanzenjäger“ zunächst in den westlichen USA, dann in Mexiko lebte.

Auf ihn gehen u.a. die ältesten Gewächshauspflanzen des Gartens (aus 1898) zurück, auf Joseph Anton zahlreiche Gestaltungselemente des Gartens wie der „Yuccahügel“ mit winterharten Freilandsukkulenten am Eingang, der sich in zwar erneuerter, aber stark an die alte Gestalt anlehnende Form präsentiert und wo eine Gedenktafel heute an die beiden Brüder erinnert. 1925 schied Purpus aus dem Amt, führte aber noch bis 1928 die Oberaufsicht über den Garten.

Bekannt war er auch als Autor zahlreicher gärtnerisch-botanischer Artikel, Mitherausgeber des “Silva-Tarouca“, der mehrbändigen Reihe „Kulturhandbücher für Gartenfreunde“ und als herausragender Pflanzenfotograf. In seine Dienstzeit fielen auch der Bau des Inspektorenhauses im Garten (heute Kern des alten Institutsgebäudes) und umfangreiche Erneuerungen und Neubauten im Bereich der Gewächshäuser.