Nếu đã đọc Tam quốc diễn nghĩa của La Quán Trung, không ai là không biết trước khi Từ Thứ đến với Tào Tháo, ông đã tiến cử Gia Cát Lượng cho Lưu Bị. Sau đó Lưu Bị tìm đến Long Trung để thỉnh cầu Gia Cát Lượng ra giúp nhưng hai lần đầu không gặp mãi đến lần thứ ba mới gặp được nên dân gian mới có điển tích "Lưu Bị tam cố thảo lư".
Trong Tam quốc diễn nghĩa, lúc đầu Từ Thứ đi theo phò tá Lưu Bị, do có tội bỏ trốn nên lấy tên giả là Đan Phúc. Ông đã hiến kế cho Lưu Bị đánh bại tướng của Tào Tháo là Tào Nhân, đánh úp chiếm Phàn Thành. Tào Tháo lập mưu bắt mẹ Từ Thứ, dù Từ mẫu không đồng ý cộng tác nhưng Tào Tháo dùng mưu kế của Trình Dục, bắt chước nét chữ của bà để viết thư dụ Từ Thứ.
Từ Thứ tưởng là thư của mẹ gửi nên đành từ biệt Lưu Bị ra đi. Ông nói hết tên tuổi thật của mình và tiến cử Gia Cát Lượng với Lưu Bị, sau đó đi Hứa Xương. Mẹ Từ Thứ khi thấy con trai đến thì rất tức giận, chửi mắng ông rồi tự vẫn. Từ Thứ biết mình bị lừa, nguyện suốt đời không giúp kế gì cho Tào Tháo.
Trước trận Xích Bích Từ Thứ biết được Bàng Thống bày kế liên hoàn để lừa Tào Tháo, nhưng ông nhớ lời hứa với Lưu Bị mà không tiết lộ cho Tào Tháo, mà lại theo kế của Bàng Thống bày cho, giả vờ xin Tào Tháo cho về lại phương Bắc để giữ hậu phương. Nhờ đó ông thoát khỏi trận chiến Xích Bích, nơi số lớn quân Tào bị tiêu diệt.
Sau trận Xích Bích, Từ Thứ cũng biến mất không còn tung tích, không ai biết ông đi đâu. Có người nó Từ Thứ vì không phục tùng nên đã bị Tào Tháo giết, cũng có người nói Từ Thứ đã chạy trốn, nhưng suy cho cùng thì kể từ đó về sau, không còn ai trông thấy bóng dáng của vị mưu sĩ này.
Còn theo sử liệu, năm 208, Tào Tháo mang đại quân xuống đánh Kinh Châu. Lưu Biểu qua đời, con là Lưu Tông đầu hàng Tào Tháo. Lưu Bị mang dân sơ tán, bị Tào Tháo đánh bại ở Đương Dương Tràng Bản. Gia quyến Lưu Bị và mẹ Từ Thứ là Từ Trắc cũng bị bắt tại đây. Tào Tháo nhờ mẹ Từ Thứ viết thư chiêu dụ con về phía mình. Từ Thứ nhận được thư mẹ bèn từ biệt Lưu Bị sang phục vụ Tào Tháo.
Từ khi sang Tào, Từ Thứ không đóng góp gì đáng kể cho họ Tào. Năm 220, Tào Tháo qua đời, Tào Phi lên thay, cướp ngôi Hán Hiến Đế lập ra nhà Tào Ngụy. Từ Thứ được bổ nhiệm là Hữu trung lang tướng và Ngự sử trung thừa.
Khi Gia Cát Lượng mang quân Bắc phạt đánh Tào Ngụy, nghe tin Từ Thứ vẫn phục vụ chính quyền Tào Ngụy đã than thở về việc nước Ngụy có quá nhiều nhân tài trong khi nước Thục thì có quá ít.
Sau đó Từ Thứ lâm bệnh mất, không rõ năm nào. Trong lịch sử không lưu lại bất cứ một sự tích quân sự nào về Từ Thứ, tài năng của ông ra sao thì người đời chưa thể biết được hết, bởi ông không hề có liệt truyện riêng trong Tam quốc chí. Tuy nhiên có thể kết giao bằng hữu với Gia Cát Lượng, chứng tỏ ông không phải là một thất phu.