Erst seit 1850 steht die Kirche von Rüdlingen und Buchberg an ihrem ausgesucht schönen Ort zwischen den beiden Dörfern mit einer einmaligen Aussicht auf den Rhein und das Flaachtal.

Bereits 1130 wird ein Kirchlein in Rüdlingen erwähnt, das St. Margarethen-Kirchlein. Im Laufe des 13. Jahrhunderts wurde es vermutlich durch eine Feuersrunst zerstört und danach nicht wieder aufgebaut. Urkundlich erwähnt ist auch die St. Jakobskirche oberhalb des Pfarrhauses auf dem heutigen Friedhofsgebeit. Sie gehörte ursprünglich der Pfarrei Lottstetten.

In den ersten Jahren der Reformationszeit schlossen sich Buchberg und Rüdlingen (damals waren sie noch eine einzige Gemeinde) ebenso wie der ganze Kanton Schaffhausen der reformierten Glaubensrichtung an.

Trotz mehrerer Renovationen im 17. und 18. Jahrhundert wurde die St. Jakobskirche immer baufälliger. Die beiden Gemeinden beschlossen schliesslich, das alte Kirchlein abzubrechen und am heutigen Standort neu zu errichten.