Thượng tướng Nguyễn Văn Nghĩa quê ở xã Vân Trung, huyện Việt Yên, tỉnh Bắc Giang. Trước năm 2013, ông Nguyễn Văn Nghĩa giữ chức Sư đoàn trưởng Sư đoàn 325 (Quân đoàn 2). Năm 2013, ông được bổ nhiệm giữ chức Phó tư lệnh, Tham mưu trưởng Quân đoàn 2; năm 2015, giữ chức Tư lệnh Quân đoàn 2 đồng thời được thăng quân hàm Thiếu tướng.
Trước khi giữ chức Phó Tổng Tham mưu trưởng Quân đội nhân dân Việt Nam (1/2020), tướng Nguyễn Văn Nghĩa lần lượt đảm nhiệm các chức vụ: Phó tư lệnh, Tham mưu trưởng Quân khu 2; Cục trưởng Cục Quân lực (Bộ Tổng Tham mưu Quân đội nhân dân Việt Nam Việt Nam). Tháng 3/2023, ông được thăng quân hàm từ Trung tướng lên Thượng tướng.