Thế rồi trong suốt 15 năm quan trường, thời cuộc đã khiến ông chán nản từ quan ở ẩn, bất hợp tác với cả Quang Trung lẫn Gia Long.
Bùi Huy Bích (1744 - 1818), tự Hy Chương, hiệu Tồn Am và Tồn Ông, thuộc dòng dõi thi thư, là cháu bảy đời của Tiến sĩ Bùi Xương Trạch, quê làng Thịnh Liệt – tên nôm là làng Sét (Hà Nội).
Ông là nhà khoa bảng, từng giữ chức Tham tụng (tương đương chức Thủ tướng) trong triều đình vua Lê - chúa Trịnh. Ngoài ra còn là nhà biên khảo, nhà văn, nhà thơ có tầm ảnh hưởng.
Theo "Bùi Thị gia phả" do chính tay Bùi Huy Bích ghi chép lưu trữ tại Viện Nghiên cứu Hán Nôm thì nguồn gốc của họ Bùi làng Thịnh Liệt là từ làng Cát Xuyên, huyện Hoàng Hóa, phủ Hà Trung, trấn Thanh Hóa (nay là huyện Hoằng Hóa, tỉnh Thanh Hóa).
Viễn tổ của dòng họ vốn làm nghề thuốc, di cư đến xã Định Công, huyện Thanh Đàm, phủ Thường Tín, trấn Sơn Nam Thượng. Sau đó chuyển sang xã Thịnh Liệt, khu vực cư trú sau thành thôn Bùi Đông, sau đó có tên là làng Giáp Nhị gắn bó với lịch sử của dòng họ này.
Cụ viễn tổ nổi tiếng khi còn trẻ là một người có sức khỏe phi thường và biết võ nghệ. Theo truyện kể lại thì ông đã một mình đánh đuổi một đàn trâu rừng để cứu con gái của Hoàng Công Thục - võ tướng nhà Trần. Vì công này, tướng Hoàng Công Thục gả con gái của mình - bà Ngọc Trân cũng còn là cháu ngoại vua Trần khi đó.
Cụ sinh con trai là Trung Thức. Theo truyện kể lại, lúc ấy có một người Trung Hoa thông hiểu về phong thủy, vì muốn trả ơn cho Trung Thức, đã đề nghị cho ông hai vùng phúc địa - một vùng sẽ tạo ra một vị vua trong các người con cháu, còn vùng kia sẽ tạo ra nhiều thế hệ có danh tiếng hiển đạt. Trung Thức chọn vùng phúc địa thứ hai - làng Thịnh Liệt.
Khi đó, nơi đây chỉ là một khu đầm lầy với gia đình của Cao Lệnh công đang ở. Sau khi dọn sang, Trung Thức lấy con gái họ Cao là Cao Thục Tịnh. Về sau, khi gia đình trở nên quý hiển có nhiều con cháu làm quan trong triều, Trung Thức được vua Lê phong tước Diễn Phúc bá, chức Tả thị lang và tên hiệu là Tả Dụ. Ông bà sinh được một gái, hai trai, trong đó có Bùi Xương Trạch.
Bùi Xương Trạch là người khai khoa, mở đầu truyền thống khoa cử của họ Bùi nơi đây. Con trai Bùi Xương Trạch là Bùi Vịnh sau này đỗ Bảng nhãn, người cháu là Bùi Bỉnh Quân cũng đỗ Tiến sĩ. Bùi Huy Bích là cháu 7 đời của Tiến sĩ Bùi Xương Trạch.
Cha của Bùi Huy Bích là Bùi Dụng Tân, là thầy đồ dạy học tại nhà. Tương truyền, thuở nhỏ Huy Bích thể chất kém, thường đau ốm, bề ngoài có vẻ chậm chạp, khờ khạo nhưng thực chất lại có khiếu thông minh, không những nhanh chóng học thuộc kinh sách, mà còn ứng xử rất tinh tế trong cuộc sống.
Khi Bùi Huy Bích còn nhỏ, trong làng có đám ma, cậu bé đứng gần người đề chủ, khi người này chuẩn bị viết thì thấy nghiên mực khô rốc. Thấy cậu Bích đứng gần, ông đề chủ hất hàm ra hiệu.
Bích hiểu ý, thấy có chén đầy nước cạnh nghiên, cậu cầm lấy chén nước rồi nhặt một thoi vàng Hồ (thứ vàng giấy do làng Hồ làm ra), chọc thủng một mặt rồi dùng thoi vàng lấy từng chút nước đổ vào nghiên.
Lễ xong, ông đề chủ rất khen ngợi cậu bé và mời ngồi cùng vào chiếu rượu dành riêng cho ông. Ông giảng giải: Chén nước đầy mà nghiên mực thì nông. Kẻ xốc nổi sẽ cầm cả chén mà rót, như thế nước sẽ tung tóe ra, mất trang nghiêm. Kẻ chậm chạp thì chạy đi lấy thìa và như thế thì nghi lễ bị dở dang. Thoi vàng không phải là thứ múc nước, vậy mà cậu bé biết biến báo thành ra được việc.
Bùi Huy Bích có 1 chị và 1 em trai, khi ông lên 5 tuổi thì mẹ mất, cha ông mang 3 chị em lên Hải Dương, ở làng An Lâu, huyện Thanh Miện. 17 tuổi, ông được cha gửi về quê để theo học với ông nghè Nguyễn Bá Trữ, làng Linh Đường cùng huyện Thanh Trì.
2 năm sau, ông được thầy cho đi thi và đỗ Hương cống khoa Giáp Ngọ đời Cảnh Hưng thứ 23 (1762). Năm sau, thi Hội không đạt, ông được thầy khuyên đến học thêm ở trường của Bảng nhãn Lê Quý Đôn mở tại kinh thành.
Bấy giờ chúa Trịnh nắm giữ thực quyền, vua Lê chỉ như bù nhìn. Cảnh tình ấy đã làm tổn thương đến tư tưởng chính thống tôn quân của nho sĩ. Bùi Huy Bích cũng vì thế mà bất mãn không thiết tha với khoa cử, bỏ dở con đường lập thân bằng khoa danh. Nhưng rồi để chiều lòng cha, năm Kỷ Sửu (1769) lúc ấy 25 tuổi ông đi thi Hội và đỗ Đình nguyên Hoàng giáp.
Văn bia đề danh Tiến sĩ khoa thi Kỷ Sửu (1769) do Hàn lâm viện Thừa chỉ Lê Quý Đôn vâng sắc soạn, Công bộ Thượng thư Nguyễn Nghiễm vâng sắc nhuận có đoạn: Phó Đô tướng Trịnh Miên làm Đề điệu, Bồi tụng Trần Huy Bật làm Tri Cống cử, Phó Đô Ngự sử Trần Tiến làm Giám thí. Qua trường bốn lấy trúng cách bọn Ngô Duy Viên 9 người. Qua tháng sau Điện thí, lấy bọn Bùi Huy Bích đỗ xuất thân có thứ bậc khác nhau.
Sau khi thi đỗ, Bùi Huy Bích được bổ dụng làm Hàn lâm viện Hiệu lý, rồi thăng lên Thị chế (năm 1771), rồi được thụ chức Thiêm sai Tri hộ phiên, kiêm chức Đông các Hiệu thư. Năm 1777, ông vào lĩnh chức Đốc đồng Nghệ An rồi lại phụng sai vào Thuận Hóa tuyên dụ.
Trong thời gian này ông đã có công bình loạn giặc Mường Thai ở miền Tây Nghệ An. Sau công trạng đó, năm 1780, ông được thăng lên Hiệp trấn Nghệ An kiêm thụ lĩnh chức tham chính.
Đến 1781, ông được chúa Trịnh Sâm triệu về triều giữ chức Nhập thị Bồi tụng (chức đứng thứ hai trong phủ chúa sau Bồi tụng), nhưng ông lấy cớ ốm yếu xin từ chức, dù khi đó mới 38 tuổi và là người có họ hàng với Trịnh Sâm.
Khi Trịnh Sâm bỏ con trưởng Trịnh Tông để lập con nhỏ Trịnh Cán (con của Tuyên phi Đặng Thị Huệ được sủng ái), ông đứng ra can gián nhưng không thành. Chính vì không nghe theo lời can gián của Bùi Huy Bích, Trịnh Sâm vẫn theo ý mình mà lập con nhỏ nên đã xảy ra loạn trong triều sau khi qua đời.
Trịnh Sâm mất, Trịnh Tông lật đổ Trịnh Cán lên ngôi, cách chức Tham tụng của Phan Lê Phiên (vì Phiên cùng phe với mẹ con Trịnh Cán) và mời Bùi Huy Bích ra làm Hành Tham tụng, với hi vọng ông có thể cứu vãn tình thế do loạn kiêu binh gây ra.
Tuy nhiên khi ấy xảy ra nhiều chuyện, lại do ngờ vực nên Bùi Huy Bích từ quan về dưỡng bệnh tại phường Bích Câu. Từ đó, ông khước từ 3 lời mời ra tham chính. Năm 1786 quân Tây Sơn lấy danh nghĩa "phù Lê diệt Trịnh" kéo ra Bắc, Nguyễn Huệ mới ông ra giúp nhưng ông xin từ chối.
Sau khi đánh tan quân Thanh và lên ngôi, hoàng đế Quang Trung mời các danh thần nhà hậu Lê – trong đó có Bùi Huy Bích ra giúp nước nhưng ông một lần nữa không hợp tác.
Đến đời vua Gia Long nhà Nguyễn, dù Bùi Huy Bích vẫn được trọng đãi nhưng ông luôn giữ thái độ không hợp tác, xin được sống an nhàn tại quê nhà cho đến khi qua đời vào ngày 25/5/1818, thọ 75 tuổi.
Bên cạnh sự nghiệp làm quan, Hoàng giáp Bùi Huy Bích cũng được biết đến là một tác gia có tầm ảnh hưởng lớn. Theo PGS.TS Nguyễn Hữu Sơn - Viện phó Viện Văn học, thì chỉ với hai công trình biên khảo đại thành "Hoàng Việt thi tuyển" và "Hoàng Việt văn tuyển", có thể coi Bùi Huy Bích là đại biểu chuyên tâm sưu tập, biên soạn văn thi tập cuối cùng dưới thời trung đại.
Bùi Huy Bích còn trực tiếp sáng tác cả văn xuôi và thơ ca. Về văn xuôi, Bùi Huy Bích có "Lữ trung tạp thuyết (Bàn giải tản mạn trong cảnh lữ khách), gồm 2 quyển, viết khi lánh nạn ở Sơn Tây, trong đó tập trung luận giải về đạo trời và tính người. Tiếc rằng "Lữ trung tạp thuyết" cũng như các tác phẩm văn xuôi (ký, văn tế) đến nay vẫn chưa được phiên dịch đầy đủ…
Về sáng tác thơ ca, Bùi Huy Bích có: Bích Câu thi tập, Nghệ An thi tập, Thoái hiên thi tập, sau được tập hợp trong "Tồn Am thi cảo" gồm 670 bài (có thuyết nói 681 bài), có thêm lời tựa của Phạm Nguyễn Du và Lê Quý Đôn…
Vốn là người có điều kiện đi nhiều, chịu khó quan sát, ghi chép, đề vịnh, Bùi Huy Bích có cả một dòng thơ du ký, trải rộng các địa danh, các miền danh lam thắng cảnh với những chùa Phổ Linh, Bích Câu, Đại La, Quang Liệt, Hồ Tây, Tô Lịch (Thăng Long), Khánh Tân (Sơn Tây), chùa Cổ Mễ - Võ Giàng (Bắc Ninh), Yên Ninh – Lạng Giang (Bắc Giang), sông Lam, Yên Trường, Phượng Thành, Bãi Bạng – Bãi Sò (Nghệ An), thành Lục Niên (Hà Tĩnh), Thạch Xá – Lệ Thủy (Quảng Bình), Nam Giao (Huế)…
Tâm thế của người du ngoạn được Bùi Huy Bích nhấn mạnh trong lời kết bài thơ Đề Cổ Miếu sơn tự chung lâu Võ Giàng huyện (Thơ đề gác chuông chùa Cổ Mễ huyện Võ Giàng): Du khách ngẫu phùng thanh thưởng xứ/ Hoài nhân bất tại hựu thùy đồng (Du khách gặp may vui thưởng thức/ Bạn thơ chẳng có, biết cùng ai).
"Điều quan trọng hơn, Bùi Huy Bích không thuộc kiểu người quan liêu, sáo rỗng, cao cao tại thượng, tự cho mình cái quyền "trừ mình ra" trước mọi thăng trầm thế sự. Chính vì thế mà ông luôn cảm nhận những giới hạn, thấy đáng hổ thẹn vì bất lực trước thực tại đất nước cũng như trước những phẩm chất cao đẹp của những Chu Văn An trong bài "Quang Liệt xã Giang Thượng ngâm" (Khúc ngâm trên sông xã Quang Liệt), ngậm ngùi trước Thân Nhân Trung trong bài "Quá Thân công Nhân Trung cố lý" (Qua làng cũ ông Thân Nhân Trung), tự cảm thẹn lòng với nhà ẩn sĩ Nguyễn Thiếp và hân hoan khi tiễn đưa thầy Lê Quý Đôn đi trấn thủ Thuận Hóa", PGS.TS Nguyễn Hữu Sơn nhận định.
Làng Giáp Nhị - Thịnh Liệt là một trong số ít những làng có cả văn chỉ lẫn thọ chỉ. Thọ chỉ giống như văn chỉ, là một gò đất lộ thiên có văn bia trong cuộc chấn hưng nho giáo do Tham tụng Bùi Huy Bích chấp chính đề xướng dùng để tôn vinh nho giáo và các danh nhân khoa bảng - Thọ chỉ để tôn vinh những người lớn tuổi - đặc biệt là người thọ bách niên. Nhà thờ của họ Bùi trong làng được vua Lê Hiển Tông phong một bức hoành phi có bốn chữ "Sơn Nam vọng tộc" treo ở cửa từ đường để chỉ một dòng họ nhiều danh vọng của trấn Sơn Nam.