Câu lạc bộ bóng đá Hòa Phát Hà Nội chính thức được thành lập ngày 24 tháng 12 năm 2003 với 34 người (trong đó có 26 cầu thủ). Việc thành lập đội bóng này xuất phát từ việc giải thể đội Hàng không Việt Nam (trước là Công an Hà Nội) và câu lạc bộ LG-ACB xuống hạng. Sau khi xuống hạng, LG-ACB sáp nhập với Hàng không Việt Nam và giữ luôn quyền chơi ở giải chuyên nghiệp (V-League) của Hàng không Việt Nam. Các cầu thủ thừa ở 2 đội này được gộp lại để thành lập đội Hòa Phát Hà Nội và sẽ chơi ở giải hạng nhất.

Ông Nguyễn Thành Vinh sinh năm 1946, là HLV nổi tiếng trong làng bóng Việt Nam. ông từng đưa đội Sông Lam Nghệ An giành nhiều vinh quang, trong đó có chức vô địch V-League 2000-2001. Ở cấp đội tuyển, ông Vinh được cựu HLV trưởng Riedl coi như cánh tay phả

Khi mới thành lập, câu lạc bộ được Liên đoàn bóng đá Hà Nội quản lý, Ủy ban Nhân dân Hà Nội và Tập đoàn Hòa Phát tài trợ. Đội trưởng đầu tiên của Hòa Phát Hà Nội là cầu thủ trung vệ Nguyễn Tiến Dũng. Còn huấn luyện viên đầu tiên là ông Hoàng Văn Gia. Đội lấy sân vận động Hà Nội làm sân nhà.

Sau 3 năm thành lập, năm 2006, Hòa Phát Hà Nội giành được danh hiệu đầu tiên sau khi thắng Gạch Đồng Tâm Long An ở trận chung kết cúp quốc gia bằng 2 bàn thắng của Da Silva và Nguyễn Đức Lam. Tuy nhiên, mùa giải sau là một thất bại của đội, ngoài việc bị loại khỏi cúp quốc gia, Hòa Phát Hà Nội chỉ giành vị trí thứ 12 giải V-League và phải đá trận tranh vé vớt với An Giang (xếp thứ 3 giải hạng nhất). Trong trận đấu này, cầu thủ Williams đã ghi 2 bàn thắng giúp Hòa Phát ở lại V-League

Đến giải V-League 2008 Hòa Phát Hà Nội thi đấu không thành công xếp hạng 14/14 đội và phải xuống chơi hạng nhất.

Sau đúng 1 mùa xuống hạng Nhất, chiều 8/8/2009, Hòa Phát HN đã quay trở về sân chơi V-League sau chiến thắng đậm 5-0 trước A. An Giang