Ngày 22/6/1941, mặc dù có đã ký với Liên Xô hiệp ước không xâm lược lẫn nhau năm 1939, phát xít Đức vẫn phát động chiến dịch Barbarossa, dồn toàn lực tấn công Liên Xô ở phía đông. Đây được coi là chiến dịch đẫm máu nhất lịch sử nhân loại trong lịch sử, theo History.
Hơn 3 triệu quân Đức đồng loạt tiến vào lãnh thổ Liên Xô từ 3 hướng. 3.000 xe tăng, 2.500 máy bay, cùng 7.000 khẩu pháo đã đổ vào một mặt trận kéo dài hàng ngàn km.
Nhóm quân phía Bắc sẽ tấn công thông qua vùng Baltic và chiếm Leningrad.
Nhóm quân chính sẽ có nhiệm vụ chiếm đóng Moscow và đoàn quân phía Nam sẽ tấn công các khu trung tâm nông nghiệp của Ukraine và chiếm những mỏ dầu ở Caucasus.
Chỉ sau 4 tháng, người Đức đã đã bao vây phía Bắc Leningrad và tiến đến vùng ngoại ô Moscow. Người Đức đã chiếm được 500.000 dặm vuông lãnh thổ Liên Xô với số dân hơn 75 triệu người.
Ngày 14/9/1941, Zhukov được giao chỉ huy tập đoàn quân Leningrad giữa lúc tập đoàn quân phía Bắc của Đức đã vây chặt thành phố.
Trong tuần đầu tiên, ông đã cùng các tướng lĩnh tổ chức lại lực lượng, đẩy lùi nhiều đợt tiến công của quân Đức. Những sĩ quan chỉ huy kém cỏi cũng như những binh sĩ bỏ chạy khỏi trận tuyến đều bị xử tử. Zhukov ra lệnh bố trí những trận địa pháo mật độ cao che chắn các những hướng chủ yếu và rải mìn dày đặc ở những khu vực có nguy cơ bị tấn công cao, đồng thời tăng cường hệ thống phòng không, đề phòng lính dù Đức.
Zhukov ra lệnh cho các binh sĩ phải tận dụng mọi cơ hội dù là nhỏ nhất để tổ chức phản kích, liên tục quấy rối ở mọi nơi, ngăn cản quân Đức tập trung binh lực tấn công mạnh vào thành phố. Sau đó ông tập hợp một lực lượng gồm 5 vạn người mở một đợt tấn công dữ đội vào mũi tấn công vươn xa nhất của quân Đức ở Leningard, gây thiệt hại nặng cho đối phương.
Zhukov nhận ra rằng, khi tập đoàn quân phía nam của phát xít Đức thắng lớn ở Kiev, trùm phát xít Adolf Hitler sẽ thừa thắng đánh thẳng vào Moscow. Lực lượng thiết giáp của Đức ở tập đoàn quân phía bắc sẽ được rút về chi viện cho chiến dịch chiếm Moscow.
Không nằm ngoài dự đoán của Zhukov, tập đoàn quân phía Bắc của phát xít Đức sau khi mất lực lượng thiết giáp thì không thể chiếm được thành phố, khiến Thống chế Wilhelm von Leeb bị Hitler tước quyền chỉ huy. Tháng 10/1941, khi đang làm Tư lệnh Mặt trận Leningrad, lãnh tụ Stalin gọi điện cho Zhukov nói rõ tình hình nguy cấp sát cửa ngõ Moscow ra lệnh cho ông cấp tốc về thủ đô.
Ngày 15/11, phát xít Đức mở đợt tấn công lớn thẳng vào Moscow, chỉ còn cách thủ đô Liên Xô khoảng 20km.
Mặc dù chịu áp lực nặng nề, Zhukov vẫn bình tĩnh đánh giá các mũi tấn công của người Đức. Ông nhận ra quân Đức chỉ tập trung tiến công ở hai cánh, nhưng 6 quân đoàn bố trí ở chính diện hầu như không làm gì cả. Zhukov quyết định rút bớt một phần lớn lực lượng ở trung tâm để tăng cường cho hai cánh. Nhờ vậy mà Hồng quân Liên Xô đã không phải tung lực lượng dự bị mà để dành cho cuộc phản công sau này.
Đến khi Hitler muốn đánh thẳng vào chính diện, Zhukov khéo léo huy động lực lượng chống đỡ, chặn đứng tất cả các đợt tấn công của người Đức.
Ở thời điểm đó, tập đoàn quân Liên Xô chỉ có 1,1 triệu người và 774 xe tăng, so với tập đoàn quân trung tâm của phát xít Đức là 1,7 triệu quân và 1.170 xe tăng. Ngày 1.12, Zhukov bất ngờ phát động chiến dịch phản công, sau hai tháng tiêu diệt hơn 500.000 quân phát xít, đánh bật đối phương khỏi Moscow và các vùng lân cận cách khoảng 100-250km.
Lãnh tụ Stalin sau này luôn nhấn mạnh rằng chiến thắng vĩ đại ở Mocsow luôn gắn liền với tên tuổi Zhukov.
Sau thất bại ở cửa ngõ Moscow, Hitler đặt mục tiêu chiếm Stalingrad năm 1942, đánh sâu xuống phía nam để kiểm soát khu vực có trữ lượng dầu mỏ dồi dào, nhằm bù đắp tổn thất. Tướng Friedrich von Paulus, tư lệnh tập đoàn quân số 6 của phát xít Đức dự đoán chiếm được Stalingrad trong 10 ngày. Nhưng người Đức không ngờ rằng họ lại có ngày sa lầy ở Stalingrad lâu đến vậy.
Ở bên kia chiến tuyến, tướng Zhukov chỉ huy Hồng quân Liên Xô lợi dụng khung cảnh đổ nát ở Stalingrad để tạo thành công sự kiên cố chặn đường quân Đức. Giao tranh giữa mùa đông ở Stalingrad diễn ra hết sức khốc liệt, hai bên giành giật từng căn nhà, từ mét vuông lãnh thổ. Giao tranh khốc liệt khiến con số người bỏ mạng mỗi tuần ở cả hai bên lên tới hàng chục ngàn người.
Lãnh tụ Liên Xô thể hiện quyết tâm giữ vững bằng được thành phố mang tên mình nên điều thêm lực lượng chi viện cho Zhukov. Ngày 19/11/1942, Zhukov phát động đợt phản công mang tên Chiến dịch Sao Thiên Vương từ đống đổ nát ở Stalingrad.
Quân Đức đánh giá thấp đợt phản công, khiến tập đoàn quân số 6 không kịp trở tay. Zhukov đã tung vào mặt trận Stalingrad 500.000 người, 900 xe tăng và 1.400 máy bay. Chỉ trong 3 ngày, hơn 200.000 quân Đức bị vây chặt.
Trong khi đó, Hitler không cho tập đoàn quân số 6 rút lui bằng cách phong tướng Von Paulus làm Thống chế, với mong muốn Paulus không bao giờ được đầu hàng.
Tuy nhiên, thống chế Paulus không có tài thao lược bằng Zhukov, đành chấp nhận hạ vũ khí sau 4 tháng Hồng quân Liên Xô phản công. Ngày 18/1/1943, Zhukov được phong hàm Nguyên soái, là người đầu tiên được phong Nguyên soái trong chiến tranh.
Các sử gia hiện đại sau này đều cho rằng trận Stalingrad chính là bước ngoặt thay đổi cục diện chiến tranh Xô-Đức mà tướng Zhukov chính là người đóng vai trò quan trọng nhất.
Sau này, Zhukov còn áp dụng chiến thuật xe tăng và những kinh nghiệm ông học được từ trận đánh với người Nhật năm 1939 để đánh bại phát xít Đức trong trận Vòng cung Kursk. Đây cũng là trận đánh xe tăng lớn nhất lịch sử nhân loại
Nguyên soái Zhukov cũng là người chỉ huy Hồng quân Liên Xô tiến vào Berlin. Ngày 1/5/1945, ông chấp thuận tuyên bố đầu hàng của phát xít Đức, chấm dứt chiến tranh ở châu Âu.