Có thuyết cho rằng, ngay thời vua Gia Long, vị vua khai sáng triều Nguyễn vì không muốn chia sẻ quyền lực cho ai, hoặc lo sợ người ngoài lấn át quyền lực nên đã đặt ra lệ “Tứ bất” là không lập Hoàng hậu, không lập Thái tử, không phong Tể tướng, không lấy Trạng nguyên (có sách chép là không phong vương). Thế nhưng, đến nay người ta vẫn chưa tìm ra văn bản nào quy định về điều này. Mặt khác, trong thực tế, vua Gia Long đã tấn phong ngôi Hoàng hậu cho bà Tống Thị Lan mẹ của Hoàng tử Cảnh và Hoàng tử Chiêu ngay khi ông còn tại vị. Sách Đại Nam thực lục cho biết, năm Bính Dần (1806), mùa Thu, tháng 7, ngày Kỷ Mùi, vua sách lập vương hậu Tống Thị Lan làm Hoàng hậu... Ngày Quý Hợi, vua ngự ở điện Thái Hòa nhận lễ mừng, hạ chiếu bố cáo trong ngoài…
Như vậy, bà Tống Thị Lan được tấn phong làm Hoàng hậu sau lễ lên ngôi Hoàng đế Gia Long chỉ có 2 tháng (vua lên ngôi vào ngày Kỷ Mùi, tháng 5, năm Bính Dần). Do đó, không thể khẳng định vua Gia Long đã đặt ra lệ bất lập Hoàng hậu như thuyết nêu trên.
Có một thực tế, kể từ thời vua Minh Mạng (vị vua thứ 2 của triều Nguyễn) trở đi, các vua kế vị sau đều không lập vợ mình ngôi Hoàng hậu khi tại vị (trừ bà Hoàng hậu Nam Phương thời vua Bảo Đại). Các bà vợ của vua chỉ được sách phong làm phi, tần và ngôi cao nhất là Hoàng quý phi.
Nhắc đến vua Minh Mạng, nhiều tư liệu lịch sử cho biết, ông rất nhiều phi tần, nhiều đến mức phải giải phóng bớt đi. Sách Minh Mạng chính yếu cho biết, mùa xuân, năm Minh Mạng thứ 6, tháng giêng trong kinh thành ít mưa, vua lo sợ hạn hán, cho rằng trong thâm cung có nhiều âm khí uất tắc, nên đã giải phóng bớt một trăm người, để mong giải trừ thiên tai.
Theo Nguyễn Phúc tộc thế phả vua Minh Mạng có tổng cộng 43 bà vợ được ghi rõ lai lịch. Bà Hồ Thị Hoa (thụy là Tá Thiên nhân Hoàng hậu, người vợ mà vua có nhiều tình cảm nhất), là người Bình An, tỉnh Biên Hòa, con gái Phúc Quốc công Hồ Văn Bôi. Bà được tuyển vào cung năm 1806, từ khi Hoàng tử Đảm (vua Minh Mạng sau này) còn ở Tiềm để (nơi ở của Thái tử trước khi lên ngôi). Bà là người rất hiền thục, trinh thuận, hết lòng hiếu kính, nên được vua Gia Long đổi tên là Thực (nghĩa là quả). Bà sinh được Hoàng tử Dong (sau đặt theo đế hệ là Miên Tông, là vua Thiệu Trị sau này) mới được 13 ngày thì mất (1807) khi mới 17 tuổi.
Vua Minh Mạng cũng sủng ái bà Ngô Thị Chính, còn húy là Kiều, người huyện Đăng Xương (Quảng Trị) là con của Trưởng cơ Ngô Văn Sở. Bà vào hầu Minh Mạng từ hồi vua còn ở tiềm để, rồi được tấn phong làm Hiền phi. Bà sinh được 5 hoàng tử, 4 công chúa.
Theo Khâm định Đại Nam hội điển sự lệ, năm Minh Mạng thứ 17 (1836) vua đặt cửu giai (9 bậc phi tần) và Hoàng quý phi ở trên bậc nhất giai: "Trên nhất giai, đặt một hoàng quý phi để giúp hoàng hậu là ngôi chủ quỹ trong cung, giữ nội chính cho được tề chỉnh". Trong lời dụ của mình vua giải thích rằng: “… ngôi chủ quỹ trong cung (chỉ người vợ cả - hoàng hậu) còn để trống để đợi đức hiền”.
Sách Quốc sử di biên của Thám hoa Phan Thúc Trực, ghi chép các sự kiện xảy ra trong giai đoạn 1802-1847, cho biết thêm: Chính cung húy Kiều, con gái doanh tượng quan chưa có con, đệ nhị cung húy Hinh là con gái Lê Tông Chất . Có lần, vua hơi se mình, chính cung cùng đệ nhị cung cùng đi cầu đảo ở chùa Thiên Mạc (Thiên Mụ). Nhị cung nói rằng: “Nếu đắc tội với trời, thì cầu đảo vào đâu được”. Đến lúc vua khỏi, chính cung đem câu nói ấy, tâu với vua. Vua giận lắm! Cho nên, ngôi hoàng hậu vẫn để trống bàn mãi không định được.
Theo như những ghi chép trên có thể thấy, vua Minh Mệnh không phải là người đặt ra tiền lệ không lập Hoàng hậu. Việc lập Hoàng hậu cũng được vua đem ra bàn định nhiều lần, song vua chưa chọn được ai xứng đáng theo quan niệm của ông để đứng vào ngôi vị này.
Đến thời vua Thiệu Trị, vua cũng từng định lập vợ cả là Quý phi Phạm Thị Hằng (bà Từ Dụ) làm Hoàng hậu. Sách Đại Nam liệt truyện cho biết: “Đến khi vua gần mất, mọi việc về sau, đều dặn dò ủy thác cho hậu. Lại diện dụ các quan rằng: Quý phi là nguyên phối (vợ cả) của trẫm, là người Phước đức hiền minh, giúp ta coi công việc trong cung cấm đã 7 năm. Nay ý trẫm muốn sách lập làm hoàng hậu chính ngôi trong cung, tiếc vì việc không làm kịp mà thôi”.
Đến thời vua Tự Đức, lý do cá nhân mà vua cũng chưa lập được Hoàng hậu. Trước khi băng hà (19/7/1883), vua đã di ngôn truyền phải phong chính thất của mình là Quý phi Vũ Thị Duyên làm Hoàng hậu.
Các vua kế vị tiếp theo cho đến vua Khải Định cũng không lập Hoàng hậu. Bà Hồ Thị Chỉ được coi là chính thất của vua Khải Định cũng chỉ được phong đến bậc Ân Phi (Đệ nhị giai phi).
Có ý kiến cho rằng các vua kế vị không lập hoàng hậu là do không dám vượt tiền lệ của vua Minh Mạng. Theo tác giả Lê Nguyễn trong cuốn Nhà Nguyễn và những vấn đề lịch sử: “Các vua Minh Mạng, Thiệu Trị, Tự Đức và các vua kế vị không tuyên phong hoàng hậu không xuất phát từ một tiền lệ nào cả, đơn giản vì các ngài chưa tìm được người xứng đáng để đưa vào ngôi vị này, hoặc chưa đến lúc cần làm việc đó. Một hậu duệ của các ngài là vua Bảo Đại vẫn đường hoàng tấn phong Nam Phương Hoàng hậu mà đâu cần một sự phá lệ nào”.