Die Haldenburg ist auf 617,6 m ü. NN etwa 800 Meter südwestlich des Schwabmünchener Ortsteiles Schwabegg (Landkreis Augsburg) auf einer Randhöhe des Naturparks Augsburg - Westliche Wälder gelegen. Die große Wallanlage ist ein typisches Beispiel einer frühmittelalterlichen Ungarnschutzburg.

Die große, dreiteilige Burganlage besteht aus der eiförmigen Hauptburg (105 x 90 Meter), die durch den mächtigen Hauptwall und den Halsgraben (Höhenunterschied Grabensohle-Wallkrone etwa dreizehn Meter) von der grob rechteckigen Vorburg (130 bzw. 100 x 75 Meter) abgetrennt ist. Südlich ist der Vorburg noch ein trapezförmiges Vorwerk vorgelagert.

Das Plateau der Hauptburg und der hohe Ungarnwall sind heute mit dichtem Jungwald bepflanzt und größtenteils unzugänglich. Gut zugänglich und einsehbar ist nur die umfangreiche Vorburg, mit ihrem außen ungefähr neun Meter hohen Wall, der sich auf der Innenseite noch ca. drei bis vier Meter über das Bodenniveau erhebt. Hinter dem vorgelagerten Spitzgraben haben sich noch die langen, niedrigen Erdrippen der ehemaligen Reiterannäherungshindernisse erhalten. Diese Erdwerke werden von einem späteren, nur etwa zwei Meter tiefen zweiten Graben durchschnitten.

Die Wälle der Vorburg und der Ungarnwall waren zumindest in ihrer letzten Ausbauphase in Holz-Erde-Bauweise - vielleicht mit vorgeblendeten Steinfassaden (Tuffsteinreste) - befestigt, die Steilabfälle der Hauptburg zur Wertachebene dürften hingegen nur Palisaden getragen haben. Eine Grube auf dem Plateau des Hauptwalles wird als Turmstelle gedeutet, dieser Turm wäre sicherlich der Burg der Großvögte zuzuordnen.

Die Anlage hatte mindestens zwei Tore, das Haupttor liegt im Nordwesten der Vorburg neben einer tiefen, natürlichen Erosionsrinne und führt in direktem Weg zum Hauptburgplateau. Das Südwesttor ist der Eingang in das Vorwerk.

Besondere Bedeutung erhält die Haldenburg durch die gute Erhaltung der senkrecht vor den Graben der Vorburg aufgeschütteten Erdrippen der ungarnzeitlichen Annäherungshindernisse, die nur durch den späteren Außengraben gestört werden. Diese „Reitergassen“ erstrecken sich etwa 30 Meter ins Vorgelände und dürften ursprünglich mit Dornengestrüpp bepflanzt oder mit angespitzten Pfählen bewehrt gewesen sein. Die Angreifer konnten also nicht unmittelbar am Graben entlang reiten und die Verteidiger unter Pfeilbeschuss nehmen, sondern mussten aus größerer Entfernung schießen oder sogar absteigen.

1. Vorburg
2. Hauptburg
3. südliches Vorwerk
4. Grabensohle
5.  Talseite
6.  Talseite
7.  Bergsporn
8.  "Ungarnwall"
9. erstes Tor
10. Reiter-Annäherungshindernis
11. zweites Tor
12. Frontwall

Der Burgplatz trägt Siedlungsspuren der mittleren Bronzezeit (ca. 1600–1300 v. Chr.) und der Urnenfelderkultur (1200–800 v. Chr.).

Im 9. und 10. Jahrhundert bedrohte das östliche Reitervolk der Ungarn Süd- und Südwestdeutschland. Die Reiterkrieger waren gefürchtete Bogenschützen, die ihre Waffe in vollem Galopp abfeuern konnten, den Fußkampf aber nach Möglichkeit vermieden.

Als Reaktion auf die Bedrohung entstanden zahlreiche, teilweise riesige Wallanlagen als Truppenstützpunkte und Fliehburgen für die Bevölkerung. Ein Kennzeichen solcher Ungarnwälle ist häufig ein gewaltiger, bis zu 15 Meter hoher Hauptwall mit vorgelagerten Annäherungshindernissen, etwa langer - mit Dornensträuchern bepflanzter oder mit spitzen Pfählen bewehrter - Erdriegel. Diese beiden typischen Merkmale einer großen Ungarnschutzburg haben sich auf der Haldenburg gut erhalten.

Nach der Schlacht auf dem Lechfeld, die ja in unmittelbarer Nähe geschlagen wurde, war die Ungarngefahr beseitigt. Die Burg diente noch kurze Zeit als Sitz der Großvögte der Bischöfe von Augsburg. Der Vorburg wurde ein weiterer, mäßig tiefer Graben vorgelegt. Zu Beginn des Hochmittelalters verlegten die Vögte ihren Sitz jedoch nördlich in den Ort Schwabegg, die neue Burg auf dem Weinberg ist als großer Turmhügel (Motte) bis heute teilweise erhalten (Kalvarienberg Schwabegg). Die Haldenburg wurde – wie die meisten anderen Ungarnschutzburgen – anschließend aufgegeben, weshalb die Erdwerke dieser Anlagen meist noch in gutem Zustand erhalten sind.

Im Jahr 954 soll der Augsburger Bischof in den Wirren vor der großen Ungarnschlacht auf dem Lechfeld vor den Baiern auf seine Burg bei Schwabmünchen (Mänchingen) geflüchtet sein. Dieses Castellum Mantahinga meint wohl die Haldenburg, bei der ehemaligen Schwabmünchener Wasserburg Geiernburg fehlen Hinweise auf eine frühmittelalterliche Vorgängeranlage. Die bischöfliche Burg widerstand der Belagerung durch die Aufständischen bis zum Eintreffen königstreuer Entsatztruppen.