Ластівчине гніздо побудоване на прямовисній Авроряной скелі Ай-тодорського мису. Нинішню будівлю нагадує середньовічний рицарський замок. Воно стало своєрідною емблемою Південного берега Криму. Зображення «гнізда Ласточкиного» рознеслося по всьому світу мільйонами листівок і знімків.
Перша відома згадка про «гніздо Ласточкином» зустрічається в довіднику по Криму Григорія Моськвіча: «Дача «Ластівчине гніздо» побудована надзвичайно сміливо на прямовисній скелі». КТО належить і коли вона побудована, тут не говориться. Але, отже, до 1895 року споруда вже була.
У «Довіднику географічних назв на побережжі СРСР», м. Москва, Міністерство освіти, 1985 р., сказано: «Ластівчине гніздо» (Чорне море, Крим)... В кінці XIX ст був побудований будиночок для генерала - важко пораненого в російсько-турецькій війні 1877-1878 рр. Прізвище генерала не називається. А сама дача була дерев'яною, називалася «Генераліф» або «Замок любові». Увічнена на полотнах Айвазовського, Лагоріо і Боголюбова. На листівці (1901 р.) з картини Лагоріо дача є будівлею, що руйнується, майже без крівлі, з полуразвалившейся верандою.
В.В. Святковський в книзі «Південний берег Криму від Ялти ка Алупки», м. Санкт-Петербург, 1902 р. повідомляє ім'я власника гнізда «Ласточкиного»: «Над самим обривом мису приліпилася дача покійної лікарки Тобіна, звана «Ластівчине гніздо», що нагадує кам'яні гнізда осетинських сіл на Військово-грузинській дорозі». Отже, другим власником «гнізда Ласточкиного» був Тобін (Товбін) Адальберг Карлович, придворна лікарка, голосний земства (1899 р.). «Ластівчине гніздо» успадковувала його дружина.
Від Тобіной «Ластівчине гніздо» переходить у володіння москвички Рахманової (за деякими джерелами купчиха, по сучасних довідниках актриса). Мабуть, будівлю на той час підремонтували, оскільки на листівці Лагоріо ж 1903 року дача виглядає оновленою - біла, з червоними дахами над головною будівлею, прибудовах і веранді.
У 1911 році Рахманова продає «Ластівчине гніздо» бакинському нафтопромисловцеві баронові Ст Штейнгелю. Будівля перебудовується за проектом відомого архітектора А.В. Шервуда (1871-1954 рр.), сина відомого архітектора В.О. Шервуда (автора проекту Історичного музею на Червоному майдані в Москві).
Споруда копіюється з німецького рицарського замку. Будівельні роботи закінчені в 1912 році. Дача отримує нове ім'я «Замок любові», яке, проте, не прижилося. З чуток, Штейнгель виявився німецьким шпигуном. На початку першої світової війни він розпродає всю свою власність і виїжджає до Німеччини.
Григорій Моськвіч в останньому виданні (1914 р.) «Путівника по Криму» власником «гнізда Ласточкиного» знов називає пані Рахманову. А краєзнавець Г. Сошин останнім власником вважає купця П.Г. Шелапутіна (помер в 1914 році), якому належала сусідня дача «Перлина».
У роки першої світової війни замок виявився покинутим. «В даний час будівля прийшла у ветхість. Бродити по його напівзруйнованих балконах і терасах, що висять над морською пучиною, доставляє страшне, але в той же час приємне відчуття». Л.Г. Годфейль, Південний берег Криму. Наркомздрав. 1927 р.
Ймовірно, замок незабаром відреставрували, оскільки на знімку, зробленому відразу після землетрусу 12 вересня 1927 року, в книзі «Кримські землетруси», 1928 р., «Ластівчине гніздо» змальоване з пробитою, як снарядом, баштою, відсутніми башточками, частиною зубців, провалом під опорним майданчиком, але над вхідними дверима видно крупний, чіткий напис «Ресторан». У книзі описуються наступні події: «На балконі, що висів над морем, вечеряли досить багато відвідувачів з сусіднього будинку відпочинку «Харакс». Публіка розійшлася за 10 хвилин до головного поштовху, від якого руйнувалася башта цієї витіюватої дачі. Камені, що впали на балкон, розбили столи і стільці, зламали поручні і скинули частину цих меблів в морі, куди пішли б і відвідувачі, якби вони затрималися на 10 хвилин. У башті, побудованій з жовтого евпаторийского каменя, утворилися дві проломи, неначе її прошило величезне ядро». Мініатюрний замок переніс сильне, 6-7-балльное землетрус.
У 1930-і роки в «гнізді Ласточкином» розміщувався червоний куточок будинку відпочинку «Перлина», потім ресторан, їдальня. Потім приміщення, визнане аварійним, закрили.
Десятки років «Ластівчине гніздо» залишалося недоступним для відвідувачів. Відновлення почалося лише в 1968 році. Реконструювалося за проектом ялтинського відділення Гипроград в 1970 році. Автор-конструктор в.Н. Тимофіїв, архітектор І.Г. Татієв.
Проект реконструкції передбачав розбирання лише невеликої частини будівлі, підведення під підставу монолітної залізобетонної плити і обнесення всієї споруди антисейсмічними поясами.
«Ластівчине гніздо» поселилося серед нитки санаторіїв, які як би його відтіняють і прикрашають. В різний час тут відпочивали видні воєначальники С.М. Будьонний, І.Е. Якир, Я.Б. Гамарник, І.С. Конев, К.К. Рокоссовський, В.І. Чуйков, А.А. Гречко, І.І. Якубовський, С.С. Бірюзов, К.С. Моськаленко, І.Х. Баграян, П.К. Кошовий, Ц.р. Горщиків.
