Ursprünglich wurden in Hannover Produkte von den Bauern der Umgebung in die Stadt gebracht und auf öffentlichen Marktplätzen verkauft. Ende des 19. Jahrhunderts stiegen die hygienischen Ansprüche und die offenen Märkte gerieten in die Kritik. Deswegen drängte die Königliche Polizeidirektion Hannover 1888 auf Abschaffung des Straßenmarktes. Noch im gleichen Jahr beschloss die Stadt den Bau einer städtischen Markthalle.

Entworfen wurde die erste Markthalle von dem Architekten Paul Rowald. Als Vorbild diente ihm die „Galerie des Machines“ in Paris. Entsprechend fiel der Bau als Eisen- und Glaskonstruktion mit gemauerten Seitenwänden aus. Bei ihrer Einweihung am 18. Oktober 1892 war die Markthalle in Hannover der größte Stahl- und Glasbau des Kaiserreichs mit insgesamt 243 Händlern.

Im Zweiten Weltkrieg wurde die Halle durch Fliegerbomben zerstört. Nach Kriegsende lief der Marktbetrieb in der zerstörten Halle mit provisorischen Verkaufsständen und Buden weiter. In den 1950er Jahren forderten zahlreiche Bewohner den Wiederaufbau der Markthalle.

1954 entstand nach Plänen des Architekten Erwin Töllner am Standort der zerstörten Markthalle das neue Gebäude. 1989 wurde die Markthalle unter Denkmalschutz gestellt.

Als ein Original der Markthalle gilt die Marktfrau Karoline Duhnsen (1906–2001) aus Lindhorst. Sie reiste täglich aus dem Schaumburger Land an und verkaufte an einem Marktstand über 50 Jahre lang Fleisch- und Wurstwaren. 1999 wurde ihr ein Denkmal vor dem Haupteingang der Markthalle errichtet, welches sie mit Kiepe und Korb darstellt.