Thời xưa, ở làng Chử Xá có hai cha con Chử Cù Vân và Chử Đồng Tử, nhà nghèo đến nỗi phải chung nhau một cái khố, hễ ai đi đâu thì đóng. Người cha chết, dặn lại con cứ giữ lấy khổ mà dùng nhưng Chử Đồng Tử không nỡ để cha trần truồng, lấy khố đóng cho cha rồi mới chôn. Bấy giờ có một nàng công chúa tên là Tiên Dung nhan sắc tuyệt trần, tuổi đã lớn mà không chịu lấy chồng. Mật lần nàng cùng đoàn tuỳ tùng chèo thuyền đi xem sông núi, khi đi đến khúc sông thuộc làng Chử Xá, Đồng Tử trông thấy vội vùi mình xuống cát. Thấy cảnh đẹp, và Tiên Dung cho dừng thuyền, quây màn để tắm, vô tình nơi Tiên Dung tắm lại đúng vào chỗ Đồng Tử giấu mình. Gặp Chử Đồng Tử, biết được nguyên cớ, Tiên Dung quyết định kết duyên cùng chàng. Vì sợ vua cha, Tiên Dung ở lại sông cùng Đồng Tử. Lăm ăn đã khấm khá, Tiên Dung để Đồng Tử đi ra biển tìm vật lạ đem về đổi lấy những thứ khác. Trên đường ra biển, Đồng Tử gặp một nhà sư tên là Phật Quang và được nhà sư truyền phép cho. Đồng Tử ở luôn lại để theo học rồi được Phật Quang cho một cây gậy và chiếc nón có phép lạ khi xuống núi. Sau đó, Đồng Tử và Tiên Dung rời bỏ xóm làng tìm nơi vắng vẻ để ở. Nhờ chiếc nón và cây gậy thần, họ có được một cung điện lộng lẫy, với cả binh lính. Vua biết tin, cho rằng họ làm loạn, bèn sai quân đến đánh. Quân lính đến nơi thì cả cung điện cùng Đồng Tử và Tiên Dung đã bay lên trời, chỉ còn lại bãi đất không giữa đầm.
Bãi ấy về sau gọi là bãi Tự Nhiên, còn đầm ấy là đầm Nhất Dạ. Thấy sự kì lạ, nhân dân lập đền thờ ngay trên bãi.