Der Friedhof wurde 1760 an einem Nordhang über dem Dorf angelegt und mit dem Anwachsen der Gemeinde mehrmals vergrößert. Es ist einer der größten jüdischen Friedhöfe in Baden-Württemberg und gibt mehr als 1.100 Gräbern Platz. Die ersten Gräber sind im Jahr 1765 angelegt worden, das letzte Grab ist von 1962.
Man weiß, dass es in den Anfängen der jüdischen Gemeinde vor 1700 einen Friedhof gab, der wegen Überschwemmungen aufgegeben werden musste. Wo sich die Gräber befanden oder vielleicht heute noch befinden, ist nicht bekannt. Ab 1720 begruben die Rexinger Juden ihre Toten auf dem Mühringer Friedhof.
1760 bekam die jüdische Gemeinde von der Ortsherrschaft, der Johanniter-Kommende, einen Begräbnisplatz zugeteilt, an einem mit Buchen bestandenen Hang am westlichen Dorfrand. Er hatte zunächst die Größe von etwa 40 x 36 m und wurde bis 1914 auf eine Fläche von 6409 qm erweitert.
Durch ein breites Tor mit massivem Steinbogen betritt man den „Guten Ort“.
Der Friedhof beherbergt mindesten 1176 Gräber, wovon 931 noch mit Grabsteinen oder Steinfragmenten versehen sind.
Ursprünglich wurden die Grabstätten nicht chronologisch angelegt.
Erst ab 1879 wurden die Grabsteine nummeriert und eine strengere Belegungsordnung eingeführt.
Auf dem Friedhof befindet sich ein Kriegerdenkmal für die jüdischen Gefallenen des Ersten Weltkriegs, das die jüdische Gemeinde 1920 errichten ließ.
Daneben steht ein Ehrengrab für Fliegerleutnant Josef Zürndorfer, den einzigen jüdischen Offizier des Ortes.
Während der Nazidiktatur wurden viele Grabsteine von Jugendlichen umgeworfen.
Nach 1945 bemühte sich die bürgerliche Gemeinde in Zusammenarbeit mit der Israelitischen Religionsgemeinschaft Württembergs, die Schäden zu beheben.
1947 wurde auf Initiative des Riga-Überlebenden Harry Kahn aus Baisingen ein Mahnmal zum Gedenken an die Opfer der Judenverfolgung 1933 – 1945 errichtet.
Das letzte Grab in den Gräberreihen trägt die Nummer 945. Hier wurde 1961 Hermann Lemberger beigesetzt, der Schwiegervater des Journalisten, Schriftstellers und Zeitungsverlegers Josef Eberle.
Hermann Lemberger war 1939 nach Amerika ausgewandert und kehrte nach dem Krieg nach Süddeutschland zurück. Er starb in Rottweil und wollte in Rexingen begraben werden. Ein Gedicht von Josef Eberle zu Ehren seines Schwiegervaters ist beim Grab auf einer Tafel abgedruckt.
Das letzte Grab auf dem Friedhof wurde 1962 für Dr. Edmund Fließ angelegt. Dr. Fließ war mit einer Christin verheiratet und konnte den Krieg in Rexingen überleben. Die Urnenbestattung von Dr. Fließ wurde außerhalb der Gräberreihen vorgenommen.
Die Pflege und Erhaltung des Friedhofes liegt in der Verantwortung des Friedhofsamtes der Stadt Horb.
Der jüdische Friedhof in Rexingen ist der drittgrößte in Württemberg. Wegen seiner Lage oberhalb der Ortschaft im Wald und seiner Grabsteine mit unterschiedlichsten Symbolen zählt er zu den schönsten Friedhöfen im ehemaligen Rabbinat Horb-Mühringen bzw. in Württemberg. Man findet auf den Grabsteinen eine ungewöhnlich hohe Anzahl an Symbolen, weit mehr als auf vielen anderen jüdischen Friedhöfen.
(aus http://www.ehemalige-synagoge-rexingen.de/ehemalige-synagoge/juedischer-friedhof)