माधवराव पेशवे यांच्या काळापासूनच त्यांचे काका असणारे रघुनाथराव ह्यांचे पेशवेपदासाठी प्रयत्न चालू होते. अखेर आपल्या हयातीतच माधवराव पेशवे यांनी रघुनाथरावांना शनिवारवाड्यात बदामी महालात कैदेत ठेवले होते.