Ông sinh ngày 26 tháng 3 năm 1959, nguyên quán tại xã Liên Minh, huyện Vụ Bản, tỉnh Nam Định. Cha của ông là nhà ngoại giao Nguyễn Cơ Thạch (tên thật là Phạm Văn Cương), bấy giờ đang giữ chức vụ Tổng lãnh sự nước Việt Nam Dân chủ Cộng hòa tại Ấn Độ.
Năm 1977, ông đăng ký dự thi vào trường Đại học Bách khoa Hà Nội. Tuy nhiên sau đó ông chuyển sang dự thi và được tuyển vào Học viện Quan hệ Quốc tế. Sau khi tốt nghiệp, năm 1981, ông được nhận vào làm Chuyên viên Vụ Đào tạo, Bộ Ngoại giao. Bấy giờ, cha ông đang giữ chức Bộ trưởng.
Năm 1982, ông được bổ nhiệm làm Tùy viên Đại sứ quán Việt Nam tại Anh. Sau khi hoàn tất nhiệm kỳ công tác, năm 1986, ông được triệu hồi về nước và được phân công làm Chuyên viên của Vụ Vấn đề chung, Bộ Ngoại giao. Năm 1991, ông làm Phó Vụ trưởng Vụ các Tổ chức Quốc tế, Bộ Ngoại giao. Cùng năm đó, cha ông nghỉ hưu.
Năm 1999, ông được bổ nhiệm làm Đại sứ, Phó trưởng phái đoàn đại diện thường trực Việt Nam bên cạnh Liên hợp quốc. Từ năm 2001 đến tháng 1 năm 2003, ông được bổ nhiệm làm Công sứ, Phó Đại sứ của Đại sứ quán Việt Nam tại Hoa Kỳ.
Tháng 3 năm 2003, ông được triệu hồi về nước và được bổ nhiệm làm Quyền Vụ trưởng Vụ Các Tổ chức Quốc tế. Đến tháng 8 cùng năm, ông được bổ nhiệm chính thức làm Vụ trưởng.
Tháng 4 năm 2006, tại Đại hội Đại biểu Đảng Cộng sản Việt Nam khóa X, ông được bầu làm Ủy viên dự khuyết Ban Chấp hành Trung ương Đảng. Tháng 9 cùng năm, ông được bổ nhiệm làm Trợ lý Bộ trưởng Ngoại giao cho Phó Thủ tướng Phạm Gia Khiêm vừa được phê chuẩn kiêm nhiệm chức vụ Bộ trưởng Bộ Ngoại giao.
Tháng 8 năm 2007, ông được bổ nhiệm làm Thứ trưởng Ngoại giao. Tháng 11 cùng năm ông được bổ nhiệm làm Thứ trưởng Thường trực. Tại Hội nghị Lần thứ 9 Ban chấp hành Trung ương khóa X, từ Ủy viên dự khuyết, ông chính thức trở thành Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá X từ ngày 13 tháng 1 năm 2009.
Tháng 1 năm 2011, tại Đại hội Đảng Cộng sản Việt Nam XI, ông được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XI.
Tháng 8 năm 2011, tại Kỳ họp thứ nhất của Quốc hội khóa XIII , ông đã được bầu làm Bộ trưởng Bộ Ngoại giao thay cho ông Phạm Gia Khiêm.