За территорией госпиталя, к востоку от него, расположена Аполлонова балка с небольшой бухточкой. В конце XVIII века здесь располагались склад боеприпасов, небольшая батарея, продовольственный склад и караульный дом. Все это хозяйство сухопутного ведомства было в подчинении полковника Аполлона Гальберга, чьим именем и стали называть балку.

В бухточке обычно покачиваются на воде множество лодок, рядом виден причал, за ним просматривается акведук, а на берегу стоят маленькие домики. Улочки здесь называются Пляжная, Причальная. Этот уголок Севастополя как будто создан по книгам Грина и Паустовского.

В одном из таких домов в Аполлоновой балке в 1894 году родился И.Д. Папанин. На Корабельной стороне он жил до 1914 года, отсюда был призван на флот. Папанин сражался в Гражданскую войну, позднее учился и работал. В 1937 году он возглавил первую в мире действующую станцию «Северный полюс».