त्यामुळे रघुनाथरावांना तरुण पेशव्यांच्या कारभारी म्हणून नेमण्यात आले. तो लवकरच माधवरावांच्या मर्जीतून बाहेर पडला आणि त्याने पेशव्याविरुद्ध हैदराबादच्या निजामाशी हातमिळवणी करून त्याच्याविरुद्ध कट रचण्याचा प्रयत्न केला. घोडेगाव येथे युतीचा पराभव झाला आणि रघुनाथरावांना नजरकैदेत ठेवण्यात आले.