Выстроить больницу и богадельню (так раньше называли дом престарелых) для неимущих Шереметева просила его возлюбленная - актриса Прасковья Жемчугова. Изначальный проект был довольно скромен, но после смерти Прасковьи граф решает превратить этот проект в своего рода мавзолей горячо любимой женщины, с которой он был тайно обвенчал. Он привлекает к проекту Джакомо Кваренги, который привносит в него все лучшее сразу: полукруглую колоннаду, портики в средних частях крыльев и по торцам появляются портики. В четырех нишах устанавливают фигуры евангелистов.