Однако такой, как сейчас, мечеть была не всегда. Более века строение было деревянным, и только в 1810 году на этом месте построили первую каменную мечеть, которая чем-то напоминала православную церковь. Дело в том, что в начале XIX века, после присоединения мусульманского Поволжья к России, произошёл упадок исламской культовой архитектуры. По этой причине купец Измаилов не смог найти специалиста-мусульманина и обратился к русскому зодчему. Так как в городе не было каменных мечетей, за образец был взят православный храм. В результате получилась трёхчастная композиция из основного четверика, трапезной и колокольни. Но с мусульманской традицией зодчий связал ориентацию михрабы на юг и строительство молебного зала для женщин.
Одна из особенностей Белой мечети — наличие на потолке упоминания о четырёх патриархах христианства и иудаизма: Адаме, Аврааме, Моисее и Иисусе. Их имена прописаны арабской вязью.
В 1920 году после муниципализации городских религиозных строений назначение мечети изменилось. В 40-е годы здесь был призывной пункт, после расположилась пекарня, а чуть позднее изготавливались галантерейные изделия. В результате сильно пострадал всех архитектурный ансамбль.
В конце 1990-х гг. мечеть передали духовному правлению мусульман Астраханской области. Здесь открылась высшая мусульманская школа «Хаджи-Тархан», а в 2008 году при содействии правительства Татарстана провели реставрацию.