ويعود أول ذكر رسمي موثّق لمسجد في مدينة موسكو إلى العام 1712م، ويعتقد الباحثون أن أول مسجد في موسكو يعود إلى القرن السادس عشر الميلادي، فيما يرى فريق آخر أن ذلك يعود إلى قبل هذا التاريخ بكثير، إذ أن القبيلة الذهبية المغولية سيطرت على موسكو في القرن الثالث عشر الميلادي، ومعها بدأ التواجد الإسلامي التتري يزداد في المدينة، وتحديداٌ تمركز في ضاحية "زاموسكفوريتشيه" (ويعني الاسم: ما وراء نهر موسكو).

المسجد المذكور عام 1712م كان مبنياً من الخشب، وأغلق بعد مرض الطاعون الذي اجتاح موسكو في سبعينيات القرن الثامن عشر، ووفاة عدد كبير من المسلمين بما فيهم صاحب أرض المسجد.

"المسجد التاريخي" يقع في الحي التتري في العاصمة الروسية موسكو حيث تذكر بعض الروايات أن المسجد كان موجوداً على هذه الأرض، ولكنه أُحرق أثناء محاولة الإمبراطور الفرنسي نابليون بونابرت (1769-1821م) احتلال موسكو عام 1812م. 

أما المبنى الحالي فقد بني عام 1823م بعد محاولات عدة دامت لسنوات (منذ العام 1805م) للحصول على تراخيص البناء، وقد تبرع بالأرض لبناء المسجد عليها التاجر نزار باي خاشالوف، وجاء المسجد على شكل بناء عادي بسيط (وكان هذا شرط السلطات في موسكو)، وبدى كأنه مبنى من طابق واحد مع مئذنة صغيرة عند مدخله.

وفي عام 1881م، سمح القيصر ألكسندر الثاني (حكم بين عامي 1855-1881م) بتوسعة المسجد وبُنيت له قبة وأعيد بناء قبته، وقد كان يعيش في موسكو أوائل القرن العشرين حوالي عشرة آلاف مسلم، وكان يسمى حتى العام 1904م المسجد الجامع، في عام 1915م تم بناء مدرسة ملحقة بالمسجد عام 1915م.

وقامت السلطات الشيوعية عام 1936م باعتقال ثم إعدام إمام المسجد الشيخ عبد الله شمس الدينوف. ثم أغلقت السلطات السوفيتية "المسجد التاريخي" عام 1937م، وحوّلته لمطبعة ثم مقراً للدفاع المدني ثم مكتباً للتجنيد العسكري. وأُزيلت قبّة المسجد، وهُدّمت مئذنته عام 1967م.

واستعاد المسلمون "المسجد القديم" في يناير من العام 1991م، وفي العام الذي يليه وبمساعدة من محسن من المملكة العربية السعودية تم إعادة ترميمه، وفُتح للمصلّين عام 1993م.

وأشرف على المسجد بين عامي 1923-1925م العالم التتري موسى جار الله بيكييف (1878–1949)، وتشرف اليوم "الإدارة الدينية لمسلمي القسم الأوروبي الروسي" على إدارة المسجد، وعلى الرغم من بساطة شكل وهندسة هذا المسجد، إلا أنه يحظى بمكانة كبيرة بين مسلمي روسيا، إذا أنه جزء من تاريخهم.