पूर्वी काळाराम मंदिराच्या ठिकाणी अरण्य होते. सध्या जेथे काळाराम मंदिर आहे, त्या मंदिराच्या ठिकाणी श्रीरामांची 'पर्णकुटी' होती. श्रीराम सव्वादोन वर्षे पंचवटीत वास्तव्याला होते. ओढा नाशिक रोड येथील जहागिरी असलेले पेशव्यांचे सरदार रंगनाथ ओढेकर यांना माधवराव पेशव्यांच्या मातोश्री गोपिकाबाई यांनी मंदिराचे बांधकाम करण्याची आज्ञा केली. याच काळात ओढेकर यांना प्रभू श्रीरामाचा 'तुम्ही मंदिराचा जीर्णोद्धार करावा' असा द़ृष्टांत झाला.
काळाराम मंदिर असलेल्या ठिकाणी पूर्वी लाकडी मंदिर होते. श्री समर्थ रामदासस्वामींनी याच मंदिरात श्रीरामाची उपासना केली होती. मंदिरातील मूर्ती काही शतकांपूर्वी गोदावरी नदीच्या रामकुंडात मिळाल्या आहेत. मूर्ती वालुकामय असून स्वयंभू आहेत. मंदिराच्या बांधकामासाठी नाशिकपासून 5 कि.मी. अंतरावर असलेल्या रामशेज डोंगरावरून दगड आणण्यात आले. या डोंगरावर प्रभू श्रीराम रात्री निद्रा करण्यासाठी जात. डोंगरावरील दगड काढल्यानंतर दूध आणि नवसागर टाकून उकळून त्याची परीक्षा केली गेली. बांधकामासाठी सिमेंट अथवा पाण्याचा वापर झालेला नाही. मंदिराचे बांधकाम या दगडांपासून झालेे आहे. ख्रिस्ताब्द 1778 ते ख्रिस्ताब्द 1790 या कालखंडात मंदिर पूर्ण झाले. त्यावेळेस या मंदिराच्या बांधकामाला 23 लाख रुपये खर्च आला.
मंदिर हेमाडपंती वास्तुशास्त्राचा उत्कृष्ट नमुना म्हणून ओळखले जाते. मंदिराचा परिसर 266 फूट लांब आणि 138 फूट रुंद आहे. मंदिरास चारही दिशांना असलेली प्रवेशद्वारे हे धर्म, अर्थ, काम आणि मोक्ष यांचे प्रतीक आहेत. आतील मंदिरास तीन दरवाजे आहेत. ते सत्त्व, रज आणि तम प्रवृत्तीची प्रतीके आहेत. मंदिराभोवताली मोकळी जागा आणि यात्रेकरूंसाठी (100 कमानी असलेल्या) ओवर्या आहेत. बाहेरच्या ओवर्यांना 84 कमानी आहेत. 84 लक्ष योनींनंतर मनुष्य जन्म प्राप्त होतो. याचे प्रतीक म्हणून 84 कमानी आहेत. 40 खांबांवर भव्य सभा मंडप उभा आहे. मंदिरावर सोन्याचा कळस आहे. त्या कळसासाठी पैसे कमी पडल्याने शेवटी सरदार रंगनाथ ओढेकरांच्या पत्नीने नाकातली नथ दिली होती. उत्तरायण आणि दक्षिणायन काळात सूर्याची किरणे प्रत्यक्ष रामरायाच्या चरणांवर पडतात. गर्भगृहातील राममूर्ती आणि सभा मंडपातील मारुतीची मूर्ती यांचे नेत्रोमिलन होते. अशी माहिती काळाराम मंदिराचे मंदार जानोरकर यांनी दिली.