Em 1444 chegam a Lagos os primeiros escravos trazidos de África, dando origem ao primeiro mercado de escravos. O primeiro piso foi utilizado como Casa de Vedoria e Alfândega, Casa de Guarda e Prisão Militar.

Este mercado de escravos tem uma simbologia que se interliga com a tradição popular. Sabendo-se que o primeiro mercado de escravos, trazidos pelas caravelas que demandavam de África, se realizou no Rossio da Trindade, à porta da vila.

O piso térreo é actualmente ocupado por uma galeria de Arte. O piso superior é composto por uma só sala, estando as armas do Marquês de Nisa gravadas na sua fachada.