В конце XIX века в Дербенте обосновалась большая диаспора горских евреев, которая жила в районе современной улицы Таги-Заде. На средства членов общины в 1914 году была построена крупная синагога – Келе-Нумаз. К 2009 году здание сильно обветшало, поэтому его было решено разобрать, однако на месте синагоги всего за несколько месяцев построили точную копию исторического сооружения.
Сейчас Келе-Нумаз остается действующей синагогой, в которой каждый день молятся верующие, однако посетить ее могут все желающие. На фасаде здания сохранены элементы исторического декора, в том числе колонны и портал у входа. Внутри воссозданы деревянные и каменные резные элементы, а также другие декоративные детали. Рядом с синагогой открыт Еврейский центр.