होलकर शासन में राजा भाऊ फणसे के बाड़े का निचला हिस्सा जेल के रूप में उपयोग किया जाता था। अपराधियों को इसी बाड़े में रखा जाता था। उन्हें कई बार मारा-पीटा जाता और यातनाएं दी जाती थीं। रात-दिन चीखने-चिल्लाने या कराहने की आवाजें आती थीं।
इससे आसपास के नागरिकों को परेशानी होती थी। सुरक्षा के लिहाज से कैदियों के शरीर पर भारी जंजीरें लाद दी जाती थीं। इंदौर शहर का कोतवाल ही बंदीगृह अधीक्षक होता था। जिन व्यक्तियों पर अदालत में मुकदमे चलते थे, कई बार उन्हें भी इसी जेल में बंद कर दिया जाता था। पुलिस की इस मनमानी को रोकने के लिए न्याय विभाग के सदस्य को जेल का अध्यक्ष बनाया गया। इसके बाद से ही साधारण अपराध वाले कैदियों को जंजीरों से जकड़ा जाना बंद किया गया। कैदियों को उनकी दैनिक खुराक के लिए नकद पैसे दिए जाते थे। इससे वे भोजन सामग्री प्राप्त कर अपना भोजन खुद बनाते थे।
महाराजा तुकोजीराव द्वितीय ने इन परंपराओं को बंद किया और कैदियों को शहर से बाहर रखने के लिए 1877 में एक लाख रुपए की लागत से नई जेल का निर्माण करवाया। सभी कैदियों को नई जेल में भेज दिया गया। जेल में करीब 650 कैदियों को रखने की व्यवस्था थी। होलकर महाराजा ने जेल को सुधार केंद्र बनाने का प्रयास किया। कैदियों को बढ़ईगिरी, कपड़े और दरी बुनने का प्रशिक्षण दिया जाने लगा। कैदी जेल से छूटने पर अपने हुनर के आधार पर व्यवसाय करने लगे। होलकर महाराजा द्वारा बनाई गई जेल अब जिला जेल कहलाती है।