در 17 نوامبر 1936، هواپیمای ژنرال فرانکو بمب های آتش زا از جمله کاخ معروف لیریا و موزه دوک آلبا، از حامیان سرسخت فرانکو، که بعداً سفیر ناودیلو در لندن شد، پرتاب کرد. در واقع، جاکوبو فیتز-جیمز استوارت، هفدهمین دوک آلبا، در جریان بمباران در لندن قرار داشت.
وفاداری به فرانکو قوی تر از دلتنگی برای خانه سوخته بود و در مطبوعات بریتانیا دوک "قرمزها" را مسئول آتش سوزی دانست. آنقدر دروغ آشکار بود که دوک با مخالفت شدید یکی از اعضای پارلمان، دوشس متول مواجه شد: به گفته او، آلبا به خوبی از خدمتکار خود می دانست که واقعاً چه اتفاقی افتاده است و آنتونی ادن، وزیر امور خارجه بریتانیا، باید این را در هنگام تصمیم گیری در مورد اینکه آیا می توان به سخنان دوک اعتماد کرد، در نظر می گرفت.
علیرغم اینکه کاخ به شدت آسیب دیده بود، گنجینه های آن نجات یافت: واحدهای حزب کمونیست اسپانیا که آن را از روزهای اول نبرد برای مادرید اشغال کردند، گنجینه های کاخ را از قبل به مکانی امن بردند و پس از آتش سوزی همه چیز را به والنسیا منتقل کردند، جایی که دولت جمهوری خواه در آن قرار داشت.
نقاشی ها پس از جنگ به صاحبش بازگشتند. این کاخ از سال 1948 تا 1956 بازسازی شد، خود دوک در سال 1953 درگذشت و لیریای جدید را ندید. این کاخ توسط دخترش دوشس کیتانا تکمیل شد.