Trong nhiều năm làm Tổng thống chính quyền Sài Gòn cũ, giới thân cận của Diệm không ai nghe thấy ông ta dù chỉ một lần nói về chuyện đàn bà con gái.
Cho tới nay, dư luận vẫn cho rằng, Ngô Đình Diệm là một người đàn ông bất lực. Khi nói chuyện với đàn bà, ông Diệm thường tỏ ra đỏ mặt tía tai như e thẹn.
Lại có người cho rằng ông Diệm ái nam ái nữ, tính tình bất thường nên hay cáu gắt và làm những điều không ai lường trước được. Vì vậy, Diệm không có lấy một người vợ và phải sống độc thân cho đến ngày tạ thế.
Theo lời kể của cụ tri phủ Ngọa Thế Cầu làm quan thời Bảo Đại và từng là bạn học thuở nhỏ của Diệm ở Huế cho biết, có một lần vào cuối năm trung học, cậu ấm Ngô Đình Diệm đã cùng với một người bạn trai cùng lớp (có thể là Ngọa Thế Cầu) ra chân cầu Bạch Hổ đứng hóng mát.
Tại đây, Diệm đã tâm sự và tự hứa với bản thân là không bao giờ để chuyện yêu đương, tình ái lăng nhăng trong tâm trí mà dồn tất cả cho việc học ở cấp trung học.
Ông Ngô Đình Diệm.
Ông Ngô Đình Diệm. Khi còn là sinh viên trường Hậu Bổ, vào một buổi sáng mùa hè, Ngô Đình Diệm đang ngồi đọc sách trên lầu tại nhà bà cả Lễ thì có mấy cô gái Huế đến chơi.
Thời điểm đó, Ngô Đình Diệm chỉ khoảng 18-19 tuổi, cái tuổi đang tân thời, tình cảm tràn trề, lãng mạn. Cứ tưởng cậu ấm cũng thích trêu đùa như những chàng trai tân khác nên các cô gái thuận theo số đông đã mạnh dạn trêu chọc, mồi chài cậu ấm.
Những tưởng các cô gái sẽ bị cậu ấm đùa lại, nhưng trái lại Ngô Đình Diệm bỗng nổi giận, mặt mày cau có đứng trên lầu mà mắng xuống các cô gái: "Con gái gì mà hư thân trắc nết như rứa!".
Cũng từ cái ngày cậu ấm bất thần nổi giận với các cô, người dân ở cả vùng Phú Cam đã rỉ tai nhau việc cậu ấm Ngô Đình Diệm sợ đàn bà con gái.
Sau này khi trở thành tri phủ Hòa Đa, tuần vũ Phan Thiết, Ngô Đình Diệm cũng chẳng đoái hoài gì tới chuyện lập gia thất dù rằng có rất nhiều gia đình quan lại danh giá lên tiếng gả con gái cho ông.
Mãi đến năm 1948, khi Ngô Đình Diệm gần tuổi ngũ tuần, giới thân cận của ông không ai nghe thấy Diệm nói về chuyện đàn bà con gái. Có lẽ do phần vì nể Ngô Đình Diệm cho nên trong những lần trò chuyện với ông không ai dám đề cập tới chuyện vợ con của Diệm.
Còn một số người ưa nịnh bợ mỗi khi gặp ông Diệm chỉ toàn nói chuyện tu hành, đạo đức thánh thiện.
Vì vậy, trong ngôn ngữ giao tiếp hàng ngày, Ngô Đình Diệm không được thông thạo về lĩnh vực tình ái, phụ nữ, đàn bà.
Rồi dần dần, mỗi khi nhắc tới Ngô Đình Diệm, người thân cũng như cộng sự viên của ông chỉ coi ông như một người đàn ông đứng riêng trong một thế giới không vướng mắc mùi tục lụy.
Sau này, khi trở thành tổng thống của chế độ Sài Gòn cũ cho đến năm 1963, nhiều người lại càng hồ nghi rồi trở nên tin tưởng Ngô Đình Diệm bất thường về sinh lý. Xoay quanh sự việc này, giới tri thức lại đem ra phân tích, giải thích theo sách vở.
Còn giới bình dân thì lại rỉ tai nhau theo những câu chuyện mang tính trào phúng theo kiểu bình dân.
Ngô Đình Nhu (em trai ông Diệm) sau này là cố vấn cho Diệm cũng đã một lần tiết lộ, sau những giờ làm việc căng thẳng, mệt mỏi hay trong sinh hoạt hàng ngày anh em vẫn kháo, nói bông đùa với nhau cho thư giãn đầu óc, thoải mái tinh thần hoặc cho vơi đi nỗi nhớ vợ con.
Tuy nhiên, khi Ngô Đình Diệm vừa đến thì mọi người phải tản ra bắt tay ngay vào làm việc. Bởi Ngô Đình Diệm có thể ngồi nói chuyện liên miên hàng giờ đồng hồ với đủ thứ chuyện trên trời dưới đất nhưng không thích nghe những chuyện đàn bàn con gái mà cánh đàn ông thường bàn luận.
Sau vụ đảo chính hụt vào ngày 11.11.1960, một luật sư của chế độ Việt Nam cộng hòa đã buông lời bình phẩm về Ngô Đình Diệm trong lúc đang ngà ngà hơi men: "Ông cụ (tức Ngô Đình Diệm) thì liệt, ông Nhu coi bộ suy thận, cho nên bà Nhu mới tha hồ tung hoành, khống chế theo cái luật âm thịnh dương suy".