Der Bau wurde am 18. Oktober 1476 begonnen, wie das Datum auf einem Gründungseckstein aus Marmor bezeugt. Vermutlich hat Andrea Mantegna (1431-1506) ihn selbst sein Haus entworfen; die architektonische Struktur ist sehr originell: ein Kreis – der Hof – eingelassen in ein Quadrat, oder besser, ein Zylinder, eingelassen in einen Würfel.
Man hat angenommen, dass der runde Hof, auf den sich die Zimmer öffnen – in einigen sind noch Spuren der Bemalung sichtbar, darunter das Wappen, das der Markgraf Ludovico II: dem Künstler bewilligt hat – ursprünglich von einer Kuppel bedeckt war, mit einer runden Öffnung in der Mitte. Was Mantegna baut ist die neue Interpretation des klassischen domus – des römischen Hauses – in dem das Zentrum ein unmittelbar nach dem Eingangsbereich anschließender zentraler Raum (Lat. atrium) war, von dem aus eine Reihe von kleineren Räumen erreichbar waren.
Mantegna hat sein Haus auf einem Grundstück gebaut, der ihm der Markgraf geschenkt hatte, vielleicht als Anerkennung für die Dekoration der Camera degli Sposi im Kastell.
