Усадьба принадлежала первому директору Публичной библиотеки, президенту Академии Художеств Алексею Николаевичу Оленину. Сюда приезжали известные поэты, писатели, художники – весь цвет русской культуры того времени. Здесь молодой Пушкин посвятил дочери хозяина дома Анне Олениной своё знаменитое стихотворение "Я вас любил"...