Der Name stammt von den Lilien am Gesims - nicht aus dem Farnese-Wappen, sondern von Thomas Le Roy, für den der Bau 1523 entstand. Der Palazzo birgt Baron Giovanni Barraccos Sammlung assyrischer, ägyptischer, griechischer, etruskischer und römischer Werke. Auch fragmentarische Objekte haben eine beeindruckende Wirkung.