Ông Nguyễn Văn Hậu (nguyên A trưởng A1, B1, nguyên cán bộ Cục Cảnh vệ, nguyên Trưởng phòng Tổ chức Bộ Thương mại), người từng tham gia dựng khu nhà này nhớ lại, sau khi Hiệp định Giơnevơ được ký kết, ngày 20.7.1954 cơ quan làm việc của Bác, T.Ư Đảng và Chính phủ được gấp rút chuyển từ Tuyên Quang sang Thái Nguyên nhằm tiện cho việc tiếp quản Thủ đô.
Địa điểm mới đó là xã Vai Cầy (Đại Từ, Thái Nguyên). Quần thể xây dựng bao gồm: Nhà làm việc của Bác, lán của T.Ư (được gọi vui là “Phủ Chủ tịch lâm thời”), cơ quan 11, khu làm việc của Đoàn cố vấn 12 và khu nhà đại sứ. Khu nhà đại sứ cách xa khu làm việc của Bác khoảng 5-6km. Hồi đó, Đại sứ Liên Xô và Đại sứ Trung Quốc đã ở đây. Ngày nay, người dân vẫn quen gọi đó là khu đồi Đại sứ.
Ông Hậu kể: “Tôi cùng nhiều anh em ở Trung đội 1, Đại đội 272 đoàn 36 nhận nhiệm vụ xây dựng khu nhà ở của Bác tại Vai Cầy và bắc cầu tre qua suối. Ngày ấy, Vai Cầy rừng tre nứa bạt ngàn. Từ Vai Cầy đi vào chừng hai cây số, chúng tôi dựng ngôi nhà sàn của Bác ở bên bờ suối cao, ngay chân đồi. Nhà sàn của Bác dài 2 gian, có hai tầng, mái lợp bằng tranh nứa. Khung nhà và cầu thang lên tầng trên được làm bằng gỗ, còn lại đều làm bằng tre nứa, kể cả bàn làm việc”.
Tối ngày 5.9.1954, tại Vai Cầy, bác đã nói chuyện với các đơn vị bộ đội TNXP, cơ quan 11 và 12, chuẩn bị tư tưởng cho anh chị em trước khi về Thủ đô. Bác nhắc nhở phải chú ý phát huy truyền thống tốt đẹp sẵn có trong kháng chiến, cần kiệm giản dị, tranh xa mọi cám dỗ nơi thị thành.
Từ địa điểm Vai Cầy, ngày 18.9.1954, Bác đến nói chuyện với bộ đội Đại đoàn Quân Tiên Phong tại Đền Hùng (Phú Thọ). Câu nói của Bác: “Các Vua Hùng đã có công dựng nước, Bác cháu ta phải cùng nhau giữ nước”, từ đó đã đi vào lịch sử. Ngày 12.10.1954, Bác rời Đại Từ để trở về Hà Nội. Dọc đường, Bác ở lại trong thành cổ Sơn Tây. Sau đó, qua thị xã Hà Đông rồi về thẳng Nhà thương Đồn Thủy (nay là Bệnh viện 108) vào chiều tối 14.10.1954. Sau 8 năm xa cách, Hà Nội lộng lẫy cờ hoa đón Bác về.
Ông Nguyễn Văn Hậu cho biết, sau này vì chiến tranh tàn phá, ngôi nhà “Phủ Chủ tịch” đó bị quên lãng và mất hẳn dấu tích. Hơn 50 năm sau (năm 2004) ông Hậu và các đồng nghiệp quay lại nhưng chỉ còn là những cánh rừng. Sau nhiều năm đi tìm, tới năm 2008, nhờ gặp được đồng chí Bí thư Đảng ủy xã Vai Cầy, họ mới xác định được nền nhà cũ, xưa chính là “Phủ Chủ tịch lâm thời”. Và Tỉnh ủy Thái Nguyên đã cho xây dựng tại đây một ngôi nhà bia tưởng niệm như một di tích lịch sử cách mạng quý báu của tỉnh.