Họ Phạm Đăng ở đây là phía ngoại của vua Tự Đức (sinh năm 1829, trị vì năm 1847 - 1883), con thứ của vua Thiệu Trị và bà Phạm Thị Hằng. Bà Phạm Thị Hằng (còn có tên là Nguyệt) là con gái thứ ba của ông Phạm Đăng Hưng, từng giữ chức Thượng thư Bộ Lại.
Cổng hậu của đền thờ Tích Thiện Từ còn lại.
Tư liệu của dòng họ Phạm Đăng để lại cho hay: Ông Phạm Đăng Khoa là thủy tổ dòng họ theo chúa Nguyễn vào Đàng Trong ở Quảng Trị, rồi di chuyển vào Huế. Con trai ông Khoa là Phạm Đăng Tiên tiếp tục vào Nam làm Huấn đạo phủ Tư Nghĩa (tỉnh Quảng Ngãi bây giờ). Con trai ông Tiên là Phạm Đăng Dinh sinh ra ông Phạm Đăng Long. Theo con cháu của dòng họ Phạm Đăng, phần mộ của ông Long ở xã Tịnh Khê (TP.Quảng Ngãi), sau này chuyển về gần mộ ông Trương Đăng Quế. Dòng họ Phạm Đăng phát triển nhiều ở Gò Công (Tiền Giang).
Con ông Long là Phạm Đăng Hưng đã sinh ra bà Phạm Thị Hằng, trở thành vợ vua Thiệu Trị. Và sau này bà trở thành thái hậu (Từ Dụ) Từ Dũ, nổi tiếng là người phụ nữ thông minh, cao quý, thương dân. Tên bà còn được đặt cho bệnh viện phụ sản nổi tiếng ở TP.Hồ Chí Minh là Bệnh viện Từ Dũ.
Có thông tin cho rằng: Sau khi vua Tự Đức lên ngôi đã cho xây dựng hai nhà thờ bên phía ngoại ở Huế và Quảng Ngãi. Cũng có tư liệu cho rằng Thái hậu Từ Dũ với tấm lòng nhớ về gốc gác, quê hương đã xây nhà thờ. Tại Quảng Ngãi, nhà thờ có tên là Tích Thiện Từ mà dân làng xung quanh hay gọi là chùa Thích Lý.
Khi đó, khu vườn có diện tích 10.000m2, cổng thành nội được xây bằng đá ong, vôi và mật mía, nhà làm bằng gỗ. Còn phía trước trồng mía, lúa bao bọc dưới hàng tre của thành ngoại. Trải qua thời gian, hầu như khu đền thờ không còn lại nhiều dấu tích. Bây giờ chỉ còn lại bốn cây cột của thành nội, cửa sau trong khuôn viên quán cà phê Vườn Thích Lý, còn lũy tre già mới vài năm trước cũng đã bị chặt bỏ. Diện tích khu vườn hiện còn khoảng 4.000m2.
Hai cây thiên tuế cao lớn ước chừng trên dưới 150 năm tuổi trong khuôn viên Vườn Thích Lý.
Điều đặc biệt tại Vườn Thích Lý là vẫn còn giữ lại hai cây thiên tuế ước chừng khoảng trên dưới 150 năm tuổi. Có thể từ khi xây dựng nhà thờ Tích Thiện Từ, người ta đã trồng hai cây thiên tuế sau cổng vào, trước nhà thờ, hai bên bức bình phong.
Đến nay, hai cây thiên tuế cao lớn tầm vài mét, gốc cây phải hai vòng tay người ôm mới xuể. Nhiều lần bão lớn, cây bị gãy ngọn, sau đó đẻ nhánh mới và chia làm nhiều nhánh to như bây giờ. Chính giữa hai cây thiên tuế, người chủ nhà vẫn còn giữ lại tấm biển đá có khắc chữ Tích Thiện Từ.
Trước đây, quán cà phê Vườn Thích Lý còn có tên là Tuế Mai Viên, vì nơi này có nhiều cây mai già và hai cây thiên tuế lớn. Sau này, con cháu dòng họ sinh sống, phát triển, nên đất đai được chia cho nhiều người, trong đó một phần đất kề bên được thiết kế thành không gian cà phê sân vườn thú vị vẫn có tên Tuế Mai Viên.
Đây là hai trong số các quán cà phê vẫn giữ lại không gian sân vườn tự nhiên tại TP.Quảng Ngãi, với nhiều tán cây lớn tỏa bóng mát, thích hợp cho những ai muốn hít thở khí trời tự nhiên.