ولم يصل إلينا ما يدلّ بوضوح على تاريخ تشييد هذه الحديقة وأوّل من قام ببنائها؛ بيد أن هناك أوصافاً لهذه الحديقة وردت في كتب الرحالة خلال القرنين العاشر والحادي عشر الهجريين. التنوع النباتي في حديقة ارم متعدد جداً. فقد زرعت فيها نباتات كثيرة من شتى بقاع المعمورة؛ ما جعل الحديقة معرضاً للزهور والنباتات بمختلف أنواعها.

وتشكل العمارة الواقعة في وسط الحديقة، النواة الأولى والأصلية لها. وفيها أكثر أقسام الحديقة جاذبية تشدّ الأنظار إليها. بنيت هذه العمارة المزخرفة بتزئينات عدة من ثلاثة طوابق. فقد شيدت جميع الغرف الموجودة في طابقها الأرضي، للترويج عن النفس في أيام الصيف الحارّة. هذه الغرف مزخرفة بأنواع القاشاني الملون.

أمّا في الطابقين العلويين، فتوجد أعمدة بنيت استلهاماً من الأعمدة الموجودة في تخت جمشيد. وفي ناصية العمارة، يوجد قوسان في الجانبين، تتخللهما لوحات كبيرة من كتاب «الشاهنامة» للشاعر الملحمي الفردوسي وكذلك صوراً عن الحروب في عهد الملوك القاجاريين.