Theo ngành văn hóa huyện Lương Tài, Lương Xá là làng cổ có lịch sử lâu đời, nằm ở thế đất "địa linh", đã sinh ra "nhân kiệt". Đó là những người con của quê hương đã đỗ đại khoa trong các kỳ thi của triều đình phong kiến như: Trạng nguyên Vũ Giới, Thám hoa Phạm Quang Tiến, Hoàng giáp Vũ Kính, Hoàng giáp Đào Phùng Thái, Tiến sĩ Phương Kính Trung, Tiến sĩ Lương Phùng Thời, Tiến sĩ Vũ Cẩn...
Theo tư liệu của Phòng Văn hóa và Thông tin huyện Lương Tài, trải qua thăng trầm của lịch sử, người dân Lương Xá đã tạo dựng được hệ thống di tích đậm đặc như: Đình Trong (đình sắc - bị tiêu thổ trong kháng chiến chống Pháp), đình Ngoài (đình Lương Xá - Thưởng Xuân đình), chùa Phúc Lâm, nghè, văn chỉ. Tuy nhiên hiện nay, Lương Xá chỉ bảo tồn được chùa Phúc Lâm và đình Lương Xá.
Đình Lương Xá vốn được khởi dựng vào thế kỷ 16, được miêu tả có quy mô to lớn, gồm đại đình 3 gian 2 chái, kiến trúc kiểu "bình đầu 4 mái đao cong". Hệ chịu lực bằng gỗ lim chắc khỏe, mỗi bộ vì có 6 hàng chân cột, cột cái có kích thước khoảng 60cm (hiện còn bảo lưu được tảng kê chân cột tại di tích), gian giữa lòng thuyền, 2 bên đóng sàn.
Hậu cung 3 gian, liên kết với tòa đại đình tạo thành mặt bằng kiến trúc hình chữ Nhị. Trước cửa đình có 2 con sấu đá rất to, 1 bia đá tứ diện, bên cạnh là cây bàng cổ thụ hàng trăm năm tuổi.
Đến năm 1953, thực hiện chủ trương tiêu thổ kháng chiến, đình Lương Xá bị hạ giải. Hòa bình lập lại, người dân đã dựng lại một miếu nhỏ để làm nơi thờ tự. Năm 1976, dựng lại tòa hậu cung 2 gian. Năm 1994, tòa đại đình 3 gian 2 chái được phục hồi trên vị trí cũ và xây dựng nhà bia. Tòa hậu cung sau đó cũng được tu bổ thành 3 gian.
Kiến trúc của đình được xây dựng dựa trên nguyên tắc của thuật phong thủy truyền thống, đó là trước mặt đình có một hồ nước tạo thế tụ thủy mang lại sự thịnh vượng đầy đủ cho dân làng, xung quanh là khu dân cư trù mật. Đình quay mặt hướng Tây, theo quan niệm thì đây là hướng đầy dương tính, sáng sủa, tránh được giá rét.
Trong đình còn bảo lưu được nhiều hiện vật có giá trị cao về lịch sử, điêu khắc, nghệ thuật, tư liệu như: Bia đá "Thưởng Xuân đình bi" có niên đại tạo tác thời Lê, 5 đạo sắc phong thời Nguyễn, hộp sắc, hoành phi, câu đối... Theo thư mục "Thần tích - Thần sắc" thống kê năm 1938, sắc phong và tư liệu tại địa phương cho biết, đình Lương Xá thờ Thành hoàng là Thái úy Tô Hiến Thành.
Trong các hiện vật cổ, bia "Thưởng Xuân đình bi" tạo tác năm 1700 được đánh giá có giá trị tư liệu, mỹ thuật, nghệ thuật đặc sắc. Tấm bia là một pho sử phản ánh nhiều mặt của địa phương, đặc biệt là truyền thống hiếu học, khoa bảng, về tấm lòng công đức của các bậc tiền nhân đối với việc hưng công đình làng.
Theo đó, đình làng Lương Xá được khởi dựng từ thời Lê: Vũ Hành - con út Thượng thư Vũ Cẩn, làm quan đến Triều liệt đại phu, Nho sinh trúng thức, kiêm Tri huyện Lương Tài... là người khởi xướng hưng công đình làng.
Bia được tạo tác hình trụ, gồm 4 mặt, trang trí cầu kỳ, tinh xảo, nội dung viết bằng chữ Hán – Nôm, chứng minh cho quá trình phát triển chữ Nôm cuối thế kỷ 17, bên cạnh đó có ngai và tượng Thái úy Tô Hiến Thành. Tượng Đức thánh được tạo tác bằng gỗ, sơn son thếp vàng, ngồi trên ngai. Đầu đội mũ cánh chuồn, trang trí rồng mây.
Nhiều đánh giá cho rằng, sự đậm đặc văn hóa ở Lương Xá được bồi đắp bởi đây là làng khoa bảng nổi tiếng nhất Kinh Bắc xưa. Đời nối đời, người Lương Xá đỗ đạt, làm quan đã bồi đắp những nền tảng cơ bản để tạo nên một vùng đất văn hiến, làm rạng rỡ từ bia đá cho đến văn chỉ.
Những cao niên ở Lương Xá nói rằng, xưa theo dân gian thì làng có tên làng Lường - hay Lường Xá, mà cơ bản thì những làng có chữ Xá đều phát xuất từ thời Hùng Vương. Người làng vẫn truyền nhau về thế đất hình cô Tiên với những địa danh trong làng gọi theo như giếng cô tiên, đống cô tiên...
Dù không chắc chắn, nhưng nhiều người cũng đồng ý rằng đó là thế đất mà theo thuyết phong thủy là "địa linh", mà đã là "địa linh" thì tất sẽ sinh "nhân kiệt". Hàng chục vị đại khoa trải các triều đại chính là minh chứng cho việc đất thiêng sản sinh người tài. Trong đó, có những tên tuổi lớn như Trạng nguyên Vũ Giới, Vũ Kính, Vũ Cẩn, Đào Phùng Thái, Phương Kính Trung, Lương Phùng Thời, Phạm Quang Tiến, Trần Danh Tân...
Tiêu biểu ở Lương Xá phải kể đến gia tộc khoa bảng họ Vũ. Đình nguyên Hoàng giáp Vũ Kính là người đỗ đại khoa thứ ba trong làng, dù trước ông trong làng có Đào Phùng Thái đỗ Hoàng giáp, Phương Kính Trung đỗ Tiến sĩ, nhưng Vũ Kính là người khởi đầu trong dòng họ Vũ với 3 người đỗ đại khoa.
Theo tư liệu đăng khoa, Vũ Kính tham dự khoa thi năm 1544 thời nhà Mạc và đỗ đầu, nhưng do khoa thi này không lấy Trạng nguyên nên ông đỗ Đình nguyên Hoàng giáp. Ông làm quan đến chức Tả thị lang bộ Lễ, Chưởng hàn lâm viện sự, tước Hầu.
Ông không chỉ có tài làm quan, mà còn là thầy giỏi, học trò của ông có người là thần đồng đỗ đầu đại khoa, nhiều người đỗ cao và làm quan ở các bậc khác nhau. Em trai của ông là Vũ Cẩn đỗ Tiến sĩ năm 1556 thời nhà Mạc, sau được thăng lên chức Thượng thư, tước Xuân Giang hầu. Con trai ông là Vũ Giới đỗ Trạng nguyên khoa Đinh Sửu, niên hiệu Sùng Khang thứ 12 (1577) đời Mạc Mậu Hợp.
Sự kiện Vũ Giới đỗ Trạng nguyên đã khiến cho dòng họ Vũ ở Lương Xá trở nên nổi bật nhất về tài học. Một gia đình mà cả cha con, chú cháu đều đỗ cao, hiển đạt khoa danh được xem là sự hiếm của mọi thời đại.
Vũ Giới làm quan cho nhà Mạc đến năm 1593 thì xảy ra việc Trịnh Tùng tiến quân đánh nhà Mạc, dựng lại nhà Lê. Chính trong năm này, Lại bộ Thượng thư Vũ Giới mắc bệnh và qua đời khi tuổi đời mới chỉ 53. Ông được an táng tại quê nhà, được đặt tên hiệu là Hòa An tiên sinh đạo học tôn sư.
Cùng đỗ khoa thi năm 1544 với Hoàng giáp Vũ Kính có Hoàng Sĩ Khải. Hoàng Sĩ Khải làm quan đến Thượng thư bộ Hộ kiêm Quốc Tử Giám Tế tửu, tước Vịnh Kiều bá, sau thăng tước Vịnh Kiều hầu. Vì Vũ Kính và Hoàng Sĩ Khải là bạn cùng làng, lại đỗ cùng khoa thi nên rất thân thiết với nhau, cả hai cùng ước hẹn khi con cái lớn sẽ cho kết vợ chồng, kết tình thông gia.
Đúng như ước hẹn, Vũ Giới sau này kết duyên với con gái của Tiến sĩ Hoàng Sĩ Khải. Bia đá trong làng ghi chép rất rõ về điều này: "Vũ Giới: đỗ Trạng nguyên, Đệ nhất giáp Tiến sĩ cập đệ, Đệ nhất danh, khoa thi Đinh Sửu, năm 37 tuổi, làm quan đến Hữu thị lang bộ Hộ, kiêm Hàn lâm thị giảng, Tham tri Hàn lâm viện sự, là con của Hoàng giáp Vũ Kính, là cháu gọi Thượng thư Vũ Cẩn bằng chú ruột, là cháu ngoại thượng thư Lương Lộc hầu Nguyễn Thu, là con rể của Thượng thư Lạng Kiều hầu Hoàng Sĩ Khải".
Ngoài họ Vũ, làng Lương cũng có sự góp mặt của các dòng họ khoa bảng khác. Trong đó có họ Phạm với thần đồng Phạm Quang Tiến. Tương truyền, năm 2 tuổi cậu bé Tiến đã được mẹ dạy chữ. Vì thông minh nên mẹ dạy đến đâu ông thuộc đến đấy, không phải dạy đến lần thứ hai.
Đến tuổi đi học, Phạm Quang Tiến được đưa đến học với thầy Vũ Kính. Để thử tài xem có giống lời đồn hay không, Vũ Kính cho cậu bé Tiến đọc một trang sách rồi châm lửa đốt, bảo đọc lại. Phạm Quang Tiến đọc lại chẳng sai một chữ, khiến cho danh tiếng vang xa.
Đến khoa thi năm 1565 thời nhà Mạc, Phạm Quang Tiến dự thi. Với khả năng vượt trội, ông đã đỗ đầu khoa thi này nhưng do triều đình không lấy Trạng nguyên nên ông chỉ đỗ Đình nguyên Thám hoa. Ông làm quan đến chức Đông các Đại học sĩ, được cử đi sứ nhà Minh. Người con gái của ông được tuyển làm nội phi và phong làm Lục cung công chúa.
Theo tư liệu ở làng Lương Xá: "Phạm Quang Tiến, Đông các, làm quan đến Đại học sĩ, chức Tả thị lang, trước khi đi thi đã là giám sinh, sau đi sứ, tái trúng Đông các đệ nhất". Chức quan Đông các Đại học sĩ mà Phạm Quang Tiến đảm nhận cũng như chức quan Quốc Tử Giám Tế tửu, thông Chánh sứ, Tham chính, Chỉ huy đồng tri, Tả hữu tán thiện, Chỉ huy Thiên sự, Đô tổng tri, Thiên tổng tri, Tuyên úy thiên sự, Thiên thái giám - đều thuộc hàng tòng Tứ phẩm.
Tuy nhiên, do Thám hoa Phạm Quang Tiến kiêm Tả thị lang nên được hưởng ở hàng tòng Tam phẩm. Phạm Quang Tiến được cử đi sứ nhà Minh, nhưng không may ông bị cảm và mất trên đường đi sứ.
Cùng thời này, Lương Xá có Nguyễn Cư Nhân đỗ Đệ giáp tam đồng Tiến sĩ, khoa thi năm Mậu Dần (1518), làm quan nhà Mạc tới chức Thượng thư, Chưởng Hàn lâm viện sự, tước Đạm Hà bá.
Nếu như làng Canh Hoạch (Thanh Oai, Hà Nội) nổi tiếng với 2 Trạng nguyên: Trạng – Trạng cháu: Nguyễn Đức Lượng - Nguyễn Thiến, thì Lương Xá không chỉ là làng khoa bảng có nhiều người đỗ tiến sĩ nhất Kinh Bắc, mà còn là ngôi làng dù chỉ có một trạng nguyên, nhưng thực tế có đến 3 người đỗ đầu - một trường hợp hiếm có ở bất cứ làng khoa bảng nào ở nước ta.
Theo tài liệu đăng khoa lục, Kinh Bắc xưa có gần 700 vị đỗ đại khoa, chiếm gần 1/3 số lượng của cả nước. Truyền thống hiếu học khoa bảng Kinh Bắc có nhiều đặc trưng nổi tiếng cả nước như: Nhiều dòng họ và làng khoa bảng, vị đỗ thủ khoa đầu tiên, vị đỗ trạng nguyên đầu tiên, vị đỗ đại khoa trẻ tuổi nhất, vị đỗ đại khoa cao tuổi nhất, có khoa thi người Kinh Bắc chiếm hết các thứ hạng cao nhất (Trạng nguyên, Bảng nhãn, Thám hoa), có dòng họ anh, em, cha, con, bác cháu cùng đỗ đại khoa… Cùng với Đại Bái (Gia Bình), làng Lương Xá, xã Phú Lương (Lương Tài) là làng khoa bảng có nhiều người đỗ đại khoa nhất Kinh Bắc xưa.