Poco rimane dell’assetto originario del giardino, al quale Bernardo Cles aveva dedicato straordinarie cure. Ricco di una grande varietà di piante odorose e ornamentali, esso aveva al centro una fontana con la statua di Nettuno; in origine vi si apriva la loggia addossata all’ala meridionale del Magno Palazzo, decorata con affreschi (perduti) di Marcello Fogolino e contenente una grotta artificiale di tufo con giochi d’acqua che azionavano autonomi.
Nel secolo XIX gli archi furono murati e la loggia venne adibita a prigione dal governo austriaco. Il giardino si presenta oggi nella ricostruzione curata da Giuseppe Gerola negli anni ’20 del Novecento.