Tháp Rùa xây trên gò Rùa. Gò chỉ cao hơn trên mặt nước hồ mùa cạn khoảng 0,6m, song theo thuật phong thủy cổ, “cao một tấc thì cũng đã là một ngọn núi” nên ngày trước các cụ gọi gò này là núi Rùa (Quy Sơn) để sánh với núi Ngọc (Ngọc
Sơn). Gò hình gán tròn, đường kính chiều đóng – tây 18m, chiều bắc – nam 24m. như vậy diện tích khoảng 350m2. Không có sách cổ nào ghi chép về lai lịch của gò, chỉ có lai lịch của ngọn tháp được một số sách đề cập tới. Sách Cổ tích và thắng cảnh Hà Nội của Doãn Kế Thiện (NXB Vãn hóa, 1956, tr. 78) kể:
“Gò Rùa là nơi chúa Trịnh dựng Tả Vọng đình để làm chỗ nghỉ mát trong mùa hè. Năm 1884, một tẽn tay sai cùa thực dãn Pháp là Bá Kim hay Thương Kim, tin thuyết phong thủy nói gò này là kiểu đất “vạn đại công khanh” đế được hài cốt tiên nhân vào đó, con cháu muôn đời nối đuôi nhau làm quan cao chức trọng. Bá Kim thèm muốn đất ấy, nhưng vì là đất công nên không dám tự tiện. Về sau (bây giờ chùa Báo An ở phía trên bờ hồ phía đông vẫn còn), y mượn cớ xin với nhà chùa và lấy thế thực dân và bọn Việt gian Nguyễn Hữu Độ, xin tự bỏ tiền nhà xây một ngọn tháp trên gò Rùa để làm hậu chấm cho ngôi chùa.
Đã được phép làm, nhưng theo ý mọi người, y phải để nguyên Tả vọng đình, đào móng xây thêm cho vững chác rồi xây các tầng tháp lên trên đinh. Y liền lập tức cho khởi công. Để thực hiện âm mưu đen tối, y dùng riêng thuê một số tay chân làm thợ nề, dự định ngay đêm hôm khai móng, chờ đến khuya tối trời, đem hài cốt cha mẹ để san trong hai cái quách nhỏ ngầm chôn xuống giữa gò, rồi lấp kín, định hôm sau sẽ xây thành nền tháp cao. Việc y làm rất kín đáo, tưởng không ai biết, đinh ninh từ đó gò Rùa là đất lành muôn đời phát phúc của nhà y. Nhưng một việc xày ra không ngờ: sáng hôm sau y hớn hớ cùng người nhà và thợ nề vừa ra tới gò, thì bỗng kêu trời và ngã ra, hai cái quách gỗ đã bị quật lên từ lúc nào, chỉ còn quách không, hai bộ hài cốt đều không thấy đâu nữa. Thì ra đã bị bới lên quăng cả xuống hồ rồi!
Đã không thực hiện được âm mưu, nhưng đã hứa với mọi người là xây tháp, không thể bỏ được, y đành phải cắn răng tiếp tục làm cho xong việc.
Khi tháp đã xây xong, tên quan sáu thực dân Pháp ở Đồn Thũy trước lễ khánh thành ở chùa Báo Ân đã cấp bằng khen cho y và khách thập phương lui tới dự lễ khánh thành đều ca ngợi y đã làm được một việc “phúc đẳng hà sa” nhưng riêng y đã tái tê nỗi lòng, ngậm bồ hòn làm ngọt. Riêng thực dân Pháp thì thưởng công cho y bằng cách gọi tên tháp ây là tháp Bá Kim!
Tuy nhiên, mỗi khi chúng ta tới thăm hồ, đứng xa trông ngắm, ba chữ “Tả vọng đình” vẫn còn ẩn hiện, như vạch rõ tội trạng của Kim đôi với một di tích lịch sử ấy đã dang tay bôi nhọ xóa nhòa.
“Tháp Rùa chính tên là Quy Sơn tháp, xây khoảng 1877. Theo Dumoutier thì do một viên quan tên Vinh Bao đã đứng xây. Theo Bonnal thì người xây là Ba Ho Kem. Công trình này thay cho một ngôi miếu nhỏ thờ thần hồ. Vinh Bao và Ba Kem (đúng ra là Nguyen Huu Kem) cùng là một viên quan”.
Như vậy theo Cl. Bourrin, tháp Rùa có từ năm 1877, khớp với thông tin của Dumoutier. Nhưng ba chữ Ba Ho Kiem là cách viết sai các chữ “Bá Hộ Kim”. Cái tên mà Cl. Bourrin chú thích rằng: “đúng ra là Nguyen Huu Kiem” thì cũng không đúng, thực ra là Nguyễn Hữu Kim.