Từ bao đời nay, chùa Bà Đanh được thêu dệt bằng những câu chuyện lạ như người đi đường trót cười cợt bình phẩm dù chỉ một câu bất kính cũng sẽ bị bà trừng phạt khiến nhiều người lo lắng mà không dám qua chùa vì sợ không giữ được mồm miệng… Nói "vắng như chùa Bà Đanh" là do ngôi chùa này không có ai đặt chân đến hay bởi sự thiêng liêng, kỳ bí…?