Toàn bộ khu nhà giam rộng bảy hécta.
Khu khám lớn gồm một tầng trệt và ba tầng lầu, xây theo hình tám cạnh, mỗi cạnh là một ô. Gồm các ô : A, B, C, D, E, F, G, H và chia thành sáu khu : AB, BC, ED, FG, AH, ID, (có lúc chia thành tám khu); có chấn song sắt kiên cố. Ở mỗi khu được sơn màu sơn khác nhau và can phạm nào ở khu nào cũng đều có mang biển số trên người cùng màu với khu giam của mình. Sự phân biệt này nhằm tạo thuận lợi dễ dàng cho việc kiểm soát của lực lượng canh giữ trại. Một phạm nhân ở khu này tự ý đi vào khu khác đều có thể bị phát hiện được ngay.
Ngoài ra còn có ba khu nằm nối lưng với khu bát giác, mà bọn cai ngục gọi là khu hỏa thực, khu bệnh xá, khu kỷ luật. Tại khu kỷ luật có phòng "điện ảnh" và phòng "truyền hình". Tên gọi đẹp đẽ là thế, nhưng mỉa mai thay, đây lại là nơi tra tấn người nghiệt ngã nhất.
Năm 1972, do yêu cầu của Bộ tư lệnh cảnh sát quốc gia Sài Gòn, mặc dù có giám thị chịu trách nhiệm phòng an ninh của nhà lao, nhưng vẫn được tăng cường thêm một toán cảnh sát để theo dõi tình hình phạm nhân, nhân viên giám thị và phát hiện những điều đáng nghi qua việc thăm nuôi. Cũng từ đó, quyền hành dần dần lọt vào tay bọn cảnh sát chìm.
Khám Chí Hòa tổng cộng có 238 phòng giam, gồm :
- [*]Khu AB có : 52 phòng
[*]Khu ID có : 17 phòng
[*]Phòng an ninh : 3 phòng (biệt giam)
[*]Khu D có : 65 phòng (diện tích hẹp).
Khu trung tâm lô cốt có dựng một thanh gươm lớn với các hình dấu âm dương, càn khôn, vũ trụ mang ý nghĩa rằng, đây là một thế giới riêng biệt mà những kẻ trót vào đây là không thể nào lọt ra được.
Đã từ lâu, có lắm huyền thoại về khu đất "linh thiêng" này. Nhiều người cho rằng, do sự chuyển động của âm dương ở đây như thế nào đó đã gây ra xung khí mạnh. Vì thế ở khu này thường bị sét đánh. Thực tế, sét đã đánh ở khu này nhiều lần. Xây đi, xây lại mấy lượt vẫn bị "đánh". Ngày nay, vào Chí Hòa, các mái ngói của khu bát giác đều đều nhau, nhưng khu FG bị khuyết thấp xuống. Đó là dấu vết còn lại của một ngàn lẻ một câu chuyện ở khám Chí Hòa ngày trước.
Ngoài công trình chính của nhà giam, còn có ngôi nhà hai tầng làm văn phòng ban quản đốc và một phòng tuyên úy cạnh lối vào khu AB. Một niệm Phật đài, một ngôi chùa và một nhà thờ được xây dựng trong khu vực khám Chí Hòa.
Ở chính giữa nhà tù, một tháp nước có trổ lỗ châu mai, với bốn loa phóng thanh và một cột cờ trên đỉnh. Mùa mưa, sân nhà tù ngập nước, có khi tràn cả vào xà lim ở tầng dưới.
Ở khám Chí Hòa có một chiếc máy chém. Chiếc máy chém này có từ thời Pháp được chuyển từ khám Catina sang, do tên đội Phước phụ trách. Theo tài liệu cũ để lại, người cuối cùng chết với chiếc máy chém này là Ba Cụt, tức Nguyễn Văn Vinh, tướng Cao Đài, bị Ngô Đình Diệm giết. Ngày trước, hàng năm vào ngày rằm tháng bảy âm lịch, bọn quản đốc nhà giam tổ chức cúng chiếc máy chém này. Nhiều tù nhân cũng đến thắp hương, lễ bái.
Theo nhiều tài liệu để lại, thời Mỹ - ngụy, số lượng tù nhân ở nhà lao Chí Hòa trung bình là 6.000 người, có lúc lên tới 7.000 người. Cũng có tài liệu nói, cá biệt có đợt vọt lên ngót một vạn !
Trong số những phạm nhân vào Chí Hòa có những nhân vật cao cấp trong chính quyền Sài Gòn, như Ngô Đình Cẩn (đã bị bắn chết ngay tại Chí Hòa), Phan Khắc Sửu, Nguyễn Tường Tam, Vũ Hồng Khanh, tướng Vũ Vũ Gia, tướng Lam Sơn… Nghị sĩ Trương Đình Dzu, dân biểu Trần Ngọc Châu…, cũng bị vào Chí Hòa.
Cũng như Côn Đảo, Phú Quốc và nhiều nhà tù khác ở miền Nam, bọn địch đã huấn luyện cho nhân viên phụ trách các nhà lao hết sức cẩn mật. Dưới đây là vài điều chúng đã quy định tại những nơi giam cầm tù chính trị, và chưa phải là tài liệu cuối cùng quy định về việc này.
Phải có một kho vũ khí, đạn dược chắc chắn, riêng biệt. Nơi đây cấm ngặt sự lai vãng của bất cứ nhân viên nào không phận sự giữ kho.
Cũng như hệ thống phòng thủ đồn bót, phải có một sơ đồ hỏa lực để cho mỗi tháp canh có thể khai thác hết khả năng của những vũ khí tự động một cách kiến hiệu.
Nếu được, song song với sơ đồ hỏa lực, mỗi tháp canh phải có đèn rọi mạnh để kiểm soát các rào kẽm gai.
Đặt một hệ thống liên lạc giữa các tháp canh với điểm gác cổng chính bằng điện thoại.
Tại điểm canh, lúc nào cũng phải có mặt ít nhất hai phần ba quân số và số tối thiểu quân số có mặt bao giờ cũng không thể dưới một tiểu đội.
Chặn bắt mọi kẻ khả nghi.
Cho phạm nhân ăn cơm sớm, để có đủ thời giờ kiểm điểm lại nhân số trước khi họ vào nhà giam… (Kho Lưu trữ Trung ương 2, hồ sơ mang ký hiệu SC.02, H.184, HS.3512).
Riêng ở Chí Hòa, những tên quản đốc vô cùng ác ôn, khét tiếng ở Sài Gòn một thời. Những tên tội ác ấy nối dài, nếu tính từ khi có nhà tù Chí Hòa đến năm 1975. Dưới đây chỉ nêu một số tên dưới thời Mỹ - ngụy mà chúng tôi vừa sưu tầm được, chắc còn phải bổ sung.
Những tên quản đốc ở Khám Chí Hòa (1954 - 1975) :
- [*]1954 - 1956 : Tên Gia, cảnh sát trưởng
[*]1956 - 1960 : Thiếu tá Nguyễn Văn Vệ
[*]1960 - 1961 : Thiếu tá Lê Quang Nhơn
[*]1961 - 1962 : Đại tá Trần Văn Đắc
[*]1962 - 1963 : Trung tá Luyện
[*]1963 - 1965 : Thiếu tá Sáu
[*]1965 - 1968 : Trung tá Luyện
[*]1968 - 1970 : Trung tá Lại Nguyên Tấn
[*]1970 - 1972 : Trung tá Đức
[*]1972 - 1973 : Trung tá Nguyễn Văn Vệ
[*]1973 - 1974 : Bùi Văn Tâm (dân sự, ngạch quản đốc)
[*]1974 - 1975 : Đại tá Phạm Văn Hải.
Nguyễn Văn Vệ còn cấm người nhà đến thăm tù, nhằm mục đích các gia đình không hay biết gì về chồng con, cha, anh bị giam ở Chí Hòa. Hắn thường thông báo rằng một số tù chính trị ở Chí Hòa đã mãn hạn tù, nay mai sẽ được tha. Nhưng kỳ thực, sau đó hắn cho xe đến Chí Hòa để chở những người tù có "danh sách được tha" đi sang Tân Hiệp, Thủ Đức hoặc ra Côn Đảo mà không ai hay biết gì.
Nguyễn Văn Vệ là một tên chúa ngục ác ôn ở Côn Đảo và Chí Hòa. đòi hiệp thương hai miền tiếp tục phát triển mạnh.