Về mặt hành chính, Sở Giáo dục Thành phố Hồ Chí Minh chỉ quản lý các cơ sở giáo dục từ bậc mầm non tới phổ thông. Các trường đại học, cao đẳng phần lớn thuộc Bộ Giáo dục và Đào tạo Việt Nam. Trong năm học 2008–2009, toàn thành phố có 638 cơ sở giáo dục mầm non, 467 trường cấp I, 239 trường cấp II, 81 trường cấp III và 55 trường cấp II, III[57]. Ngoài ra, theo con số từ 1994, Thành phố Hồ Chí Minh còn có 20 trung tâm xóa mù chữ, 139 trung tâm tin học, ngoại ngữ và 12 cơ sở giáo dục đặc biệt. Tổng cộng 1.308 cơ sở giáo dục của thành phố có 1.169 cơ sở công lập và bán công, còn lại là các cơ sở dân lập, tư thục
Hệ thống các trường từ bậc mầm non tới trung học trải đều khắp thành phố. Trong khi đó, những cơ sở xóa mù chữ, phổ cập giáo dục tập trung chủ yếu vào bốn huyện ngoại thành Củ Chi, Bình Chánh, Nhà Bè, Cần Giờ. Các trường ngoại ngữ ở Thành phố Hồ Chí Minh không chỉ giảng dạy những ngôn ngữ phổ biến mà còn một trường dạy quốc tế ngữ, một trường dạy Hán Nôm, bốn trường dạy tiếng Việt cho người nước ngoài. Thành phố Hồ Chí Minh hiện nay cũng có 40 trường quốc tế do các lãnh sự quán, công ty giáo dục đầu tư