Вандербильт II, младший сын Уильяма Генри Вандербильта, много раз ездил в Эшвилл со своей матерью в 1880-х годах. Ему настолько понравились климат и пейзажи, что он решил построить здесь собственный дом. Название особняка, Билтмор, происходит от оригинального голландского имени его предков Вандербильтов «Бильдт» и «Мор», что на англосаксонском языке означает «холмистая земля».
Для строительства дома требовалось более 1000 рабочих и 70 каменотесов. Для того, чтобы этот проект был завершен так быстро, на его территории были построены фабрики по производству дерева и кирпича. Тем временем Вандербильт уехал за границу и купил тысячи предметов мебели для своего нового дома, включая постельное белье, гобелены, украшения, ковры, гравюры, рояли и кресла-качалки.
Дом был открыт в канун Рождества 1895 года, и с этого дня многие члены семьи и друзья Вандербильта посетили его «маленькое горное убежище». Среди известных гостей, посетивших особняк, были авторы Генри Джеймс и Эдит Уортон, президенты Теодор Рузвельт и Уильям Мак-Кинли, а также послы Ларц Андерсон и Джозеф Ходжес Чоут.
Через некоторое время из-за недавно введенного подоходного налога Вандербильт решил продать 87 000 акров земли федеральному правительству. Он неожиданно умер в 1914 году, и его жена Эдит продолжила продажу, убедившись, что собственность стала центром национального леса Фасги.
Особняк был открыт для публики в марте 1930 года. Основной причиной этого было тяжелое финансовое положение дочери Вандербильта Корнелии (тогда владелицы дома) и ее мужа во время Великой депрессии. Во время Второй мировой войны здание было закрыто, а Музыкальная комната в доме использовалась в качестве хранилища до 1944 года.
Внутри были драгоценные картины Рафаэля и Рембрандта, а также портреты Джорджа Вашингтона, написанные Гилбертом Стюартом. Корнелия развелась со своим мужем Сесилом в 1934 году и навсегда покинула поместье. Их старший сын, Джордж, занимал некоторые комнаты в крыле до 1956 года. С этого момента дом больше не был семейной резиденцией и превратился в исторический дом-музей. Сегодня это одна из главных туристических достопримечательностей Северной Каролины. Это замечательное поместье было признано Национальным историческим памятником в 1963 году.
В четырехэтажном доме 250 комнат и множество ванных и спален. Также есть три кухни и электрические лифты 19 века. Основные комнаты дома находятся на первом этаже. Самый большой зал внутри — это Банкетный зал с большим столом, который может вместить 64 человека, окруженный фламандскими гобеленами и камином.
Другие основные помещения на этом этаже — мраморный вестибюль, органная галерея, Музыкальная комната, Галерея гобеленов и двухэтажная библиотека.
На второй этаж можно подняться по парадной лестнице, которая огибает великолепную люстру. На этом этаже находится множество спален и красивая дамасская комната, тирольская каминная комната, комната Клода, комната Людовика XV — самая большая и красивая — которая была отреставрирована и открыта для публики к своему 100-летнему юбилею в 2011 году.
Гостевые комнаты и обсерватория находятся на третьем этаже, а на четвертом этаже 21 спальня для служанок. В цокольном этаже есть бассейн для гостей и боулинг. Кухни там же, как и дополнительные спальни для остального персонала поместья.
Сегодня собственность занимает 8000 акров, которые разделены пополам рекой Френч-Брод-Ривер. Онf поддерживается трастом, созданным семьей, компанией Biltmore.