Theo các nhà khoa học, hồ là một đoạn sót lại của sông Hồng sau khi sông đã chuyển dòng cách đây vài nghìn năm. Ban đầu hồ có tên là Lục Thủy vì nước hồ có màu xanh quanh năm.
Tới đời Vua Lê Thái Tổ (1428 - 1433), hồ mới có tên là Hoàn Kiếm (ảnh). Truyền thuyết kể lại rằng, Lê Thái Tổ trước ngày khởi nghĩa chống quân Minh đã từng bắt được một thanh gươm báu. Với thanh gươm ấy, ông đã dẹp yên giặc Minh, thống nhất đất nước.
Sau khi lên ngôi vua, một hôm ngự thuyền dạo chơi trên hồ Lục Thủy, thấy có con rùa to nổi lên mặt nước, vua rút gươm ra chỉ vào rùa thì rùa há miệng đớp lấy gươm và lặn đi. Từ đó, hồ có tên là "Trả lại gươm" (Hoàn Kiếm).
Truyền thuyết cũng cho rằng, đời Lê Trung hưng (cuối thế kỷ XVI trở đi), vua và quân sĩ thường dùng hồ này làm nơi luyện tập thủy quân, nên hồ còn có tên là Thủy Quân. Đến đời chúa Trịnh Giang (1729 - 1740), hai phần hồ đã có tên gọi riêng là Tả Vọng và Hữu Vọng. Chúa Trịnh Giang cho xây cung Khánh Thụy ở bên bờ phía tây hồ Tả Vọng làm nơi hóng mát trong ngày hè.
Đến đời chúa Trịnh Doanh thì cho đắp một quả núi ở bờ phía đông hồ gọi là núi Độc Tôn để kỷ niệm chiến công đánh thắng Quận Hẻo ở vùng núi Tam Đảo.
Sau này, Lê Chiêu Thống đã đốt phủ chúa Trịnh và phá mọi công trình có liên quan đến nhà chúa, trong đó có cả cung Khánh Thụy và đình Tả Vọng. Sang đầu thế kỷ XIX, một ngôi chùa được lập trên nền ngôi đền ở núi Ngọc, gọi là Ngọc Sơn tự, trước chùa có một lầu chuông.
Năm 1843, lầu chuông bị bỏ đi, chùa bị đổi ra đền và gọi là Ngọc Sơn từ. Năm 1864, Nguyễn Văn Siêu đứng ra sửa sang lại danh thắng, cho xây một tháp đá hình cái bút trên núi Độc Tôn gọi là Tháp Bút. Trên thân tháp có khắc ba chữ "Tả thanh thiên" (viết lên trời xanh) và một bài văn có tên "Bút Tháp chí" nói lên sự tích núi Độc Tôn và ý nghĩa việc xây tháp.
Qua Tháp Bút tới một cửa cuốn gọi là Đài Nghiên, phía trên có đặt một cái nghiên mực bằng đá hình quả đào có ba con ếch đội. Tiếp sau Đài Nghiên là cầu Thê Húc (nơi đậu ánh sáng mặt trời), qua cầu là tới cổng đền mang tên Đắc Nguyệt lâu (lầu được trăng) và Trấn Ba đình (đình trấn sóng). Cuối cùng là ba nếp nhà của đền Ngọc Sơn.
Hồ Hữu Vọng cứ bị lấp dần, tới giữa thế kỷ XIX đã trở thành làng xóm, nay là khu vực các phố Ngô Quyền, Phan Chu Trinh, Hàn Thuyên, Hàng Chuối.