Năm 1920, ông tham gia Ủy ban đặc biệt toàn Nga về chống phản cách mạng và phá hoại (viết tắt Cheka) và phục vụ tại bộ phận an ninh nội bộ. Năm 1923, Zarubin được bổ nhiệm làm trưởng phòng kinh tế ở Vladivostok. Năm 1925, ông chuyển sang hoạt động về tình báo hải ngoại. Zarubin hoạt động tại nhiều nước khác nhau bao gồm Trung Quốc (năm 1925) và Phần Lan (năm 1926).
Năm 1928, Zarubin đảm nhận trọng trách ở Đan Mạch. Cuối năm đó, ông tham gia hoạt động cùng với người đồng đội, điệp viên Lisa Rozensweig. Họ nên duyên chồng vợ chỉ một thời gian ngắn sau đó. Ở Đan Mạch, vợ chồng nhà Zarubin tự nhận họ là công dân Séc và hoạt động tình báo dưới vỏ bọc là một công ty xuất khẩu dệt may quy mô nhỏ. Khoảng năm 1929, Trung tâm Moscow quyết định chuyển vợ chồng Zarubin sang Pháp. Sau một thời gian, vợ chồng họ định cư ở vùng ngoại ô Paris vẫn dưới vỏ bọc là cặp đôi Séc, bản thân ông Vassili Zarubin trở thành đối tác trong một công ty quảng cáo. Nhóm điệp viên mà Zarubin làm chỉ huy ở Pháp đã thu thập nhiều tài liệu giá trị không chỉ ở Pháp mà còn ở Đức, trong đó bao gồm những thông tin bí mật của đại sứ quán Đức tại Paris.
Sau khi Adolf Hitler lên cầm quyền vào năm 1933, Vassili Zarubin và vợ được gửi sang Đức. Một trong những nhiệm vụ quan trọng mà vợ chồng họ được giao phó là làm việc với Gaik Ovakimyan ở Berlin. Năm 1939, Zarubin quay lại Liên Xô và được trao tặng Huân chương Cờ Đỏ.
Tháng 2/1941, Vassili Zarubin được bổ nhiệm làm trợ lý giám đốc tình báo hải ngoại. Ông được cử sang Trung Quốc nhằm nối lại liên lạc với Walter Stennes cố vấn quân sự Đức trong chính quyền Tưởng Giới Thạch (lãnh tụ của Quốc Dân đảng) và cũng là trưởng đội cận vệ của họ Tưởng. Stennis (nguyên thủ lĩnh tổ chức bán quân sự Sturmabteilung SA) đã bật mí với Zarubin rằng mình đang sở hữu thông tin về các kế hoạch chuẩn bị tấn công Liên Xô của Adolf Hitler, trong đó nhấn mạnh giai đoạn quan trọng là tháng 5 và 6/1941. Sau chiến dịch Barbarossa, Zarubin đã giúp thiết lập các lực lượng kháng chiến kháng phát xít để chống quân Đức.
Mùa thu 1941, Vassili Zarubin và vợ Elizabeth Zarubina (tên khai sinh Lisa Rozensweig hoặc Ester Yoeleva Rozensweig) được đặc phái sang Mỹ. Tác giả Christopher Andrew lập luận rằng: "Vassili Zarubin (bí danh Zubilin, mật danh MAKSIM) được bổ nhiệm là công dân hợp pháp ở New York. Từ lâu vốn đã hoài nghi sâu sắc về cam kết của người Anh trong việc đánh bại Đức Quốc xã (ĐQX) nên Stalin càng thêm nghi hoặc về quyết tâm của người Mỹ. Stalin đã triệu hồi Zarubin trước khi vợ chồng ông khởi hành và nói với Zarubin rằng nhiệm vụ chính của ông tại Mỹ là đề phòng những nỗ lực của Tổng thống Roosevelt cùng giới thống trị tinh hoa Mỹ đàm phán với Hitler để tiến tới đồng ý ký một hiệp ước hòa bình riêng biệt. Dựa trên sự giúp đỡ của lãnh sự Liên Xô, trong tư cách là công dân của New York, Zarubin cũng phải có trách nhiệm về những nơi cư trú ở Washington, San Francisco và Mỹ Latinh.
Robert J. Lamphere (điệp viên FBI) đã hé lộ rằng FBI đã theo dõi vợ chồng Zarubin ngay khi họ đặt chân đến Mỹ: "Vassili Zubilin - có các bí danh Zarubin, Luchenko, Peter, Cooper, hoặc Edward Joseph Herbert - là một nhân vật ngầm. Mọi bằng chứng chỉ ra rằng Vassily Zarubin chính thực ra là giám đốc KGB thường trú tại Mỹ sau sự ra đi của điệp viên Gaik Ovakimian. Zubilin - Elizabetha là những điệp viên KGB kỳ cựu, các hoạt động gián điệp của họ đã bắt đầu ngay từ thập niên 1920 và bước chân họ đi khắp thế giới. Zubilin có dáng đậm người và tóc vàng, khuôn mặt chữ điền, mà theo những người đã từng tiếp xúc với ông thì nhận xét rằng đó là một kiểu người vừa dễ chịu vừa đe dọa... Lamphere nhấn mạnh: "Cái tên Zubilin đã xuất hiện trong một số trường hợp, và trong thời gian tôi ở New York, chúng tôi đã phiếm chuyện về các hoạt động đi lại cũng như theo đuôi ông ta. Chúng tôi cố gắng tìm cách hiểu xem Zarubin đang làm gì và hầu hết là rất khó biết được".
Tháng 12/1941, Vassili Zarubin sắp xếp cho Alfred Stern (chồng của bà Martha Dodd) và ông Boris Morros để lập nên một nhà xuất bản âm nhạc tại Mỹ. Alfred Stern đồng ý chi 130.000 USD vào liên danh, còn Boris Morros nhất trí đầu tư 62.000 USD để dựng nên Công ty âm nhạc The Boris Morros. Theo ông Allen Weinstein (tác giả cuốn sách Khu rừng săn lùng: hoạt động gián điệp Liên Xô trên đất Mỹ (xuất bản năm 1999) thì: "Bằng cách dùng ngân sách được cung cấp bởi Ủy ban nhân dân về an ninh nhà nước Liên Xô (NKGB), Boris Morros sẽ thành lập nhà xuất bản âm nhạc ở Mỹ - thực chất là vỏ bọc cho hoạt động tình báo của Liên Xô". Zarubin không được các điệp viên khác tại New York ưa thích vì họ cho rằng ông đã quá tin vào lòng trung thành của vợ cùng những sĩ quan khác mà ông đã đưa sang Mỹ. Một trong các sĩ quan của Zarubin là Vassili Dorogov báo cáo về Moscow rằng, "khó chịu với sự thô lỗ, thiếu lịch sự, sử dụng ngôn từ chợ búa, bất cẩn trong công việc…" của Zarubin.
Hai vợ chồng nhà Zarubin trở thành bạn thân với 2 thành viên trong mạng lưới gián điệp của họ là Hede Massing và Paul Massing. Họ sử dụng các tên Helen và Peter. Bà Hede viết trong cuốn tiểu sử Lừa dối: Những mục tiêu KGB ở Mỹ (xuất bản năm 1951) rằng: "Thời gian thoi đưa, tôi được biết tên thật của bà ấy là Elizabeth Zarubin; bà và người chồng Vassili Zarubin đã nằm vùng ở Mỹ từ đầu thập niên 1930 và quay về trong những năm chiến tranh khi ông Zarubin nắm giữ nhiều vị trí quan trọng trong Lãnh sự và Đại sứ quán Liên Xô. Ở Moscow, tôi nhận ra rằng họ là những quan chức chóp bu của GPU (hoặc NKVD - Bộ dân ủy nội vụ Liên Xô). Những khi đó thức ăn, đồ uống ê hề tại các bữa tiệc. Thủ tục giống hệt nhau. Cụng ly rất nhiều vì đủ thứ lý do; nhai nhồm nhoàm, ca hát rôm rả tới tận sáng hôm sau. Họ là người có năng khiếu, những người Nga, và họ hát hay! Peter thường ngồi giữa phòng, gẩy đàn Balalaika không mệt mỏi, hát những bản dân ca Nga buồn bã bằng giọng khỏe khoắn, tự nhiên; hoặc những tứ thơ vui tươi, và cuối cùng luôn là những bài hát về Hồng quân. Tại những bữa tiệc như thế, Peter đúng chất nông dân Nga giản đị, tóc vàng, mắt xanh, vui vẻ. Tôi nghĩ nếu không có những người Bolsheviks, Peter vẫn mãi là nông dân".
Tháng 4/1943, Vassily Zarubin lọt vào mắt xanh của FBI lúc ông nỗ lực gặp gỡ Steve Nelson (một thành viên của Đảng cộng sản Mỹ ở California). FBI lưu ý: "Zarubin đến California lần thứ 2 để hội kiến với Steve Nelson, người đang vận hành một ủy ban kiểm soát bí mật nhằm lùng ra những người chỉ điểm và điệp viên thuộc nhánh California của Đảng cộng sản Mỹ, nhưng không tìm ra nhà của Nelson. Mãi đến lần thứ hai, Zarubin mới gặp được Nelson, nhưng lần này cuộc họp đã bị FBI cài "rệp nghe lén" ngay trong nhà của Nelson". Thiết bị nghe lén của FBI xác định rằng "Zarubin đã chi tiền cho Nelson với mục đích cài các thành viên của Đảng cộng sản và điệp viên của Quốc tế cộng sản trong những ngành tham gia sản xuất chiến tranh bí mật trong chính phủ Mỹ mà từ đó thông tin sẽ tới tay người Liên Xô".
J. Edgar Hoover hồi đáp với Harry Hopkins (cố vấn thân cận của Tổng thống Franklin D. Roosevelt) rằng mình đang thiết lập một chương trình bí mật mang tên mã COMRAP nhằm "nhận dạng tất cả các thành viên của bộ máy Quốc tế cộng sản trong đó Steve Nelson và Vassili Zarubin là các điệp viên kết nối với bộ máy này trong nhiều ngành công nghiệp chiến tranh khác nhau". Liền đó Harry Hopkins đã cảnh báo cho đại sứ Liên Xô rằng "một thành viên trong tòa đại sứ của ông đã bí mật chuyển tiền cho phe Cộng sản ở California". Theo các ông Robert Louis Benson và Michael Warner, đồng tác giả cuốn sách "Verona: gián điệp Liên Xô và phản ứng của Mỹ" (xuất bản năm 1996) thì Vassili Zarubin giữ quân hàm tướng và "ông ta nhúng tay vào những hoạt động di chuyển các điệp viên Liên Xô ra vào nước Mỹ" cũng như "tổ chức thiết lập những trạm vô tuyến bí mật, chuẩn bị tài liệu giả, thu thập thông tin công nghiệp và quân sự để chuyển cho Liên Xô".
Năm 1943, Vassili Zarubin chuyển tới Washington D.C, điều này chỉ ra rằng sĩ quan tình báo cấp cao Liên Xô sẽ đóng đô ở thủ đô Hoa Kỳ. Zarubin đảm nhiệm vai trò Bí thư thứ 3 của Đại sứ quán Nga. Tuy nhiên đến ngày 7/8/1943, J. Edgar Hoover đã nhận một lá thư nặc danh bêu những cái tên Vassili Zarubin, Elizabeth Zarubina, Semyon Semyonov, Leonid Kvasnikov và 7 điệp viên NKVD khác đang hoạt động tại Mỹ. Những người này còn bao gồm các quan chức Liên Xô như Vassili Moronov và Vassili Dolgov, các quan chức lãnh sự quán Pavel Klarin (New York) và Gregory Kheifets (San Francisco). Bức thư cũng cáo buộc Vassili Zarubin làm gián điệp cho Nhật Bản và vợ ông làm việc cho Đức Quốc xã.
Người viết lá thư nặc danh còn mô tả về một mạng lưới gián điệp Liên Xô quy mô lớn với "sự tham gia của nhiều công dân Mỹ". Người này nêu những cái tên Earl Browder và Boris Morros; cũng như tuyên bố về "điệp viên cao cấp ở Nhà Trắng" (có lẽ là Lauchlin Currie). FBI tin rằng lá thư là có thật nên đã tiến hành giám sát Vassili Zarubin cùng các đặc vụ Liên Xô khác đã được nhắc tên trong bức thư. Vassili Zarubin tiếp tục làm việc ở Washington D.C. Đầu năm 1944, có nguồn tin cho rằng Zarubin tỏ ra mất bình tĩnh trong một bữa dạ tiệc chính thức và làm mất lòng những vị thượng khách. Ngay sau đó Ban gián đốc nhân sự NKVD báo cáo rằng thời kỳ làm việc của Zarubin được đánh dấu bằng loạt sai lầm ngớ ngẩn bao gồm gọi tên mã của các điệp viên mình ngay trước mặt các quan chức chính phủ Mỹ. Rồi đến mùa Hè, một trong các điệp viên của NKVD là Vassili Mironov đã nói với Joseph Stalin rằng Zarubin đã tiếp xúc mật với FBI.
Tháng 8/1944, Vassili Zarubin và vợ cùng Vassili Mironov đã được Moscow triệu hồi và bản thân Zarubin bị thay thế bởi Anatoly Gorsky. Những cáo buộc của Mironov chống lại Zarubin đã được điều tra và được chứng minh là vô căn cứ và ông bị bắt vì tội vu khống. Tuy nhiên, tại phiên tòa xét xử chính mình, Mironov được xác định là mắc chứng tâm thần phân liệt. Theo ông Pavel Sudoplatov, tác giả cuốn sách "Nhiệm vụ đặc biệt" Hồi ký của một nhân chứng vô danh" (xuất bản năm 1994) thì lá thư được gửi cho FBI đã được viết bởi chính Vassili Mironov. Vassili Zarubin sau đó trở thành phó giám đốc tình báo nước ngoài ở Moscow. Vassili Mironov bị chuyển đến trại lao động. Năm 1945, Vassili Mironov cố gắng đào tẩu khỏi nhà tù để đến đại sứ quán Mỹ ở Moscow. Nhưng ông ta đã bị bắt quả tang và mang ra xét xử trong phiên tòa thứ hai rồi nhận án tử hình. Vassili Zarubin qua đời năm 1972.