Gia Định thành thông chí ghi nhận, đảo Côn Lôn “Ở giữa biển Đông, từ cửa cảng Cần Giờ chạy ghe hướng về phía mặt trời mọc đi xuống phía Đông hai ngày đêm mới đến. Đảo lớn 100 dặm có ruộng núi trồng lúa bắp khoai đậu nhưng cũng không nhiều, thường phải mua gạo ở Gia Định để bổ túc. Thổ sản là ngựa và trâu, không có hùm beo.
Dân ở đảo đoàn kết làm binh sĩ gọi là Tiệp nhất đội, Tiệp nhị đội, Tiệp Tam đội, thuộc đạo Cần Giờ, đều có đủ khí giới để phòng bị quân cướp ở xứ Đồ Bà vì không thể kêu gọi đến chỗ khác được. Quân lính ở đấy thường lấy yến sào, đồi mồi, ba ba, quế mắm ốc tai tượng, theo thời tiết dâng nộp; còn sinh kế thì nhờ có hải vật: cá tôm, quả cau to lớn, vỏ hồng, khí vị ngọt thơm, thường đến đầu mùa xuân, nhân cau ở Gia Định chưa kết qủa, mà cau ở đảo đã dùng được, chở vào đổi bán, được giá rất cao”.
Sách Đại Nam nhất thống chí dựa theo để mô tả vị trí, nhưng có cung cấp thêm một số thông tin bổ ích khác: “Đảo Côn Lôn: Theo Gia Định thành thông chí, đảo ở giữa biển Đông, từ cửa Cần Giờ ra biển đi về phía đông thì 2 ngày có thể đến; từ cửa Cổ Huyễn đi thuyền, một ngày đêm có thể đến. Từ năm Minh Mệnh thứ 19 về trước thuộc trấn Gia Định, từ năm 20 về sau thuộc tỉnh Vĩnh Long.
Trên đảo có ruộng, có thể trồng lúa đậu; thổ sản có trâu ngựa, không có hùm beo; dân cư thì có dân thôn An Hải, biên chế thành đội Thanh Hải, ở đấy giữ đất không được dời đi nơi khác; hằng năm đi lấy yến sào, ốc tai voi, đồi mồi, con vích, dây mây để nộp. Giữa đảo rất nhiều cỏ tốt, năm Canh Tuất đầu đời trung hưng, thường đem ngựa công chăn nuôi trên đảo.
Năm Nhâm Ngọ Hiển Tông thứ 11 [1702], giặc biển An Liệt đi thuyền đến đậu ở đảo Côn Lôn, người tù trưởng là bọn Tô Lạt Gia Thi 5 người, chia làm 5 ban cùng đồ đảng hơn 200 người, kết dựng trại sách, của cải rất nhiều, bốn mặt đều đặt súng, ở hơn một năm. Trấn thủ Trấn Biên là Trương Phúc Phan chiêu mộ 15 người Chà Và, bí mật sai họ trá hàng, rồi nhân đêm phóng lửa đốt trại, đâm chết nhất ban, nhị ban, bắt được ngũ ban, còn tam ban, tứ ban thì theo đường biển trốn thoát. Nhận được tin báo thì Trương Phúc Phan sai binh đi thuyền ra đảo thu hết của cải dâng nộp”.
Huyện Côn Đảo với một số nét đặc trưng khá ấn tượng:
- Là huyện nhưng không có xã, ấp như các nơi khác;
- Dân số huyện Côn Đảo hiện có khoảng trên 4.000 người – ít nhất so các huyện trong cả nước – trong đó nữ ít hơn nam (địa bàn có tỉ lệ giới tính trái ngược so các nơi khác);
- Có thể nói Côn Đảo không có nạn trộm cắp và các tệ nạn xã hội khác;
- Năm 1839, khi Bố Chánh Gia Định là Hoàng Quýnh đi xét việc thành Trấn Tây trở về, vua Minh Mạng hỏi sơn xuyên hình thể Gia Định, Quýnh tâu: “Cù lao Côn Lôn cách Gia Định xa mà đến Vĩnh Long gần, nên cho thuộc về Vĩnh Long cho tiện”. Ngài bèn cho Côn Lôn thuộc về Vĩnh Long quản hạt…
- Tháng 4.1861, khi thực dân Pháp đánh lấy tỉnh Định Tường, theo lệnh của Đô đốc Bonard, Hải quân trung uý Lespès đã trực tiếp chỉ huy chiến hạm Norgazaray tiến chiếm, rồi tự lập biên bản, ngang nhiên xác lập chủ quyền Pháp trên quần đảo Côn Lôn, vào ngày 28.11.1861.
- Ngày 01.2.1862 Đô Đốc Bonard ra nghị định thiết lập nhà tù Côn Đảo để giam những tội nhân mang án tù từ 1 – 10 năm… Từ đó cho đến 1975 Côn Đảo trở thành “địa ngục trần gian” ở xứ Đông Dương (113 năm).
- Năm 1954, Côn Đảo được gọi là vùng đảo Côn Sơn.
- Tháng 3.1955 thực dân Pháp bàn giao quần đảo Côn Lôn cho chính quyền Ngô Đình Diệm.
- Ngày 22.10.1956 Diệm ký sắc lệnh số 143/NV (“minh định địa giới toàn quốc”) thành lập nơi nầy là tỉnh Côn Sơn (tỉnh nhưng không có quận, huyện, xã, phường).
- Ngày 21.4.1965 Thủ tướng Sài Gòn Phan Huy Quát, ký sắc lệnh số 75/NV bãi bỏ tỉnh Côn Sơn, xem đây là “cơ sở hành chính trực thuộc chính quyền trung ương” Sài Gòn. “Chúa đảo” tất nhiên không còn là tỉnh trưởng nữa mà là Đặc phái viên hành chính kiêm quản đốc Trung tâm cải huấn Côn Sơn.
- Ngày 7.11.1974 “cơ sở hành chính” Côn Sơn được đổi thành thị trấn Phú Hải, trực thuộc tỉnh Gia Định.
- Năm 1991 Quốc hội khóa VII kỳ họp thứ 9 ngày 12.8.1991 quyết định thành lập tỉnh Bà Rịa – Vũng Tàu. Côn Đảo trở thành 1 huyện của tỉnh Bà Rịa – Vũng Tàu, nhưng không có xã.