Trong cuộc kháng chiến chống quân Nguyên lần thứ nhất (1258), Trần Khánh Dư là một tướng trẻ dưới trướng của Trần Quốc Tuấn (1232 -1300).
Do có công đánh úp giặc Nguyên, sau đó, ông được cử cầm quân đi dẹp loạn Bồn Man ở vùng rừng núi, đã thắng lớn, nên được Thượng hoàng Trần Thái Tông khen là người có trí lược, nhận ông là Thiên tử nghĩa nam (con nuôi), được vua Trần Thánh Tông ban cho tước hiệu Nhân Huệ vương và phong làm Phiêu Kỵ đại tướng quân.
Tước hiệu và chức vụ này, triều nhà Trần chỉ phong cho hàng ngũ hoàng tử, nhưng vì Trần Khánh Dư đã lập đại công và được Thái thượng hoàng nhận làm con nuôi, nên mới được phong cho như thế.
Trần Khánh Dư tài hoa, cũng có chút đam mê tửu sắc, sống phóng túng và lãng mạn. Ông tiếp tục được tin tưởng, trọng dụng, còn được thăng tiếp đến Tử phục Thượng vị hầu, quyền chức Phán thủ.
Quyền thế đang như thế thì ông mắc vào tội quyến rũ và ngoại tình với Thiên Thụy công chúa, là vợ Hưng Vũ vương Trần Quốc Nghiễn, con trai Hưng Đạo Đại vương Trần Quốc Tuấn.
Sự việc vỡ lở, vua Trần Thánh Tông, dù rất yêu quý và nể vì Trần Khánh Dư, nhưng sợ Hưng Đạo đại vương phật ý, nên đã xử tội ông phải bị đánh cho đến chết. Khi thi hành án, vua lại ngầm lệnh cho lính đánh chúc đầu gậy xuống qua người ông, vì thế, qua 100 gậy mà Trần Khánh Dư vẫn không chết.
Theo luật, thế là trời tha, nên ông được miễn chết. Trần Khánh Dư chỉ bị phế truất binh quyền, tịch thu mọi gia sản. Ông lặng lẽ rời triều, lại về quê cũ Chí Linh (Hải Dương), làm nghề đốt than, chở thuyền trên sông, buôn bán kiếm sống thảnh thơi qua ngày.
Năm 1282, quân Nguyên chuẩn bị tiến đánh Đại Việt lần thứ hai. Vua quan nhà Trần kéo về Bình Than mở hội nghị bàn cách chống giặc. Lúc thuyền vua đỗ ở bến Bình Than, một chiếc thuyền lớn chở than củi đi qua, trên thuyền thấp thoáng bóng người lái thuyền đội nón lá, mặc áo ngắn.
Vua Trần Nhân Tông (con trai Trần Thánh Tông, lên ngôi năm 1279) nhìn thấy, bảo với quan tướng: "Người kia chẳng phải là Nhân Huệ vương sao?", rồi vua sai người chèo thuyền nhỏ đuổi theo.
Thuyền nhỏ đuổi theo đến cửa Đại Than thì gặp được thuyền lớn chở than, triệu ông lái thuyền quay về gặp vua.
Ông lái thuyền trả lời: "Lão là người buôn bán, có việc gì mà vua phải triệu?" rồi cứ thế cho thuyền đi tiếp. Người đi triệu trở về tâu lại, vua bảo: "Đúng là Nhân Huệ vương đấy, người thường tất không dám nói thế". Vua lại sai nội thị chèo thuyền đi gọi tiếp để ông này triệu bằng được ông lái thuyền về gặp.
Khi ông lái thuyền chở than bước lên thuyền rồng, vua chạy đến ôm chầm lấy, nói: "Nam nhi mà đến nỗi này thì thực là cùng cực rồi". Vua lập tức xuống chiếu tha tội cho Trần Khánh Dư.
Hưng Đạo đại vương Trần Quốc Tuấn thì đi xách nước để dội lên người cho Trần Khánh Dư tắm. Sau đó, vua ban áo ngự cho Trần Khánh Dư mặc để ngồi cùng bàn việc chống giặc với các quan tướng. Tại hội nghị Bình Than, Trần Khánh Dư đã đưa ra nhiều kế sách. Ông được Trần Nhân Tông phục chức và phong làm Phó đô tướng quân, giao cho trấn giữ Vân Đồn.
Trần Khánh Dư tiếp tục có công lớn trong hai lần chống quân Nguyên tiếp theo, đặc biệt là đánh tan đạo binh thuyền chở lương thực, khí giới do Trương Văn Hổ chỉ huy tháng 12/1287 ở vùng biển Vân Đồn, làm xoay chuyển tình thế chiến cuộc, dẫn đến thắng lợi cuối cùng năm 1288, đánh tan giặc Nguyên Mông. Tháng 5/1312, ông theo vua Trần Anh Tông đem quân đi đánh Chiêm Thành, bắt được chúa Chiêm Thành là Chế Chí đưa về nước.
Trần Khánh Dư không bao giờ coi việc buôn bán là hèn mọn. Ngay khi đã làm tướng, ông cũng vẫn kinh doanh và quan tâm đến sản xuất để kiếm lợi chứ không chỉ sống nhờ bổng lộc do chức tước. Khi thất thế thì vui vẻ lui về buôn bán, không có gì băn khoăn.
Trong thời gian làm Phó đô tướng quân trấn giữ Vân Đồn, thấy dân toàn mặc quần áo, sử dụng đồ dùng theo kiểu người Bắc, Trần Khánh Dư thấy không ổn. Nếu xảy ra chiến sự, khó phân biệt dân ta với người địch.
Ông suy nghĩ rồi cho ban lệnh: “Để ngăn phòng giặc, người dân không được đội nón của phương Bắc, sợ khi vội vàng khó lòng phân biệt, nên cần đội nón ma lôi của người Việt, ai sai sẽ phạt”. Nhưng trước khi ban ra lệnh đó, ông đã cho người đi mua nón Việt về tích trữ, đến khi nghiêm lệnh ban ra, người dân trong trang Vân Đồn tranh nhau mua, giá cứ thế đắt lên mà không hạ xuống.
Trần Khánh Dư là một văn tài, ông đã được Hưng Đạo Vương Trần Quốc Tuấn đề nghị viết lời tựa cho cuốn “Vạn Kiếp tông bí truyền thư” của mình.
Năm 83 tuổi, Trần Khánh Dư xin rời triều về trí sỹ. Một lần ông đến Tam Điệp và Trường Yên ở Ninh Bình, thấy đồng cỏ mênh mông, sông núi đẹp đẽ, liền cho người nhà đến khai khẩn, lập làng mới. Dần dần, người theo đến rất đông. Ông đặt tên là trại An Trung.
Dân các vùng khác đến, lập thêm trại Động Khê và Tịch Nhi, thuộc hai xã Yên Nhân và Yên Đồng, huyện Ý Yên, Nam Định. Trong buổi đầu khai hoang lập làng, ông đã bỏ tiền ra giúp vốn cho dân, hướng dẫn dân trồng cói và làm nghề thủ công, dệt cói.
Trần Khánh Dư ở lại nơi khai phá này 10 năm. Sau đó, ông trở về ấp Dưỡng Hòa, vùng đất ông được phong, thuộc xã Dương Hòa, Lý Nhân, Hà Nam. Ông giao lại nơi khai khẩn cho hai gia tướng họ Bùi và họ Nguyễn coi sóc.
Năm 1340, Trần Khánh Dư mất, thọ tròn 100 tuổi. Nhân dân trong vùng lập đền thờ ông ở An Trung, ghi tạc công đức của ông với bức đại tự: "Ẩm hà tư nguyên" và đôi câu đối, ghi:
Nhân Huệ Vương mở mới bến sông, đồng ruộng tốt tươi nay vẫn đó
Họ Bùi Nguyễn theo nền nối chí, cửa nhà đông đúc trước còn đây.
Với những gì sử sách ghi lại, danh tướng Trần Khánh Dư là một nhân vật hấp dẫn nhiều mặt. Đó là một con người văn võ toàn tài, kiến văn sâu sắc, võ công hiển hách, có chí khí lớn, có công đức dầy, có một đời sống chìm nổi, dài rộng mà sâu sắc. Ông là một tấm gương mà giới doanh nhân ngày nay cần thấm nhuần mà vươn theo.
Giới thương nhân Việt bắt đầu được hình thành từ thời nhà Lý, nhưng chủ yếu họ là những chủ sản xuất kiêm thương nhân, buôn bán chính những sản phẩm mà mình hoặc nhóm bạn nghề của mình làm ra. Đến thời Trần thì mới hình thành những thương nhân chuyên nghiệp. Vì thế, nếu muốn tìm một nhân vật lịch sử để tôn vinh làm ông tổ của giới doanh nhân, thì không ai xứng đáng hơn, chính là danh tướng Trần Khánh Dư!