बाजीराव हा रघुनाथराव आणि आनंदीबाई यांचा मुलगा होता. आनंदीबाई यांना नारायणराव पेशव्यांच्या खुनाच्या आरोपाखाली माळवा प्रदेशातील धारच्या किल्ल्यात नजरकैदेत ठेवण्यात आले होते. येथेच १० जानेवारी १७७५ला त्यांनी बाजीरावास जन्म दिला. बाजीराव जन्मापासून ते वयाच्या १९ व्या वर्षापर्यंत नजरकैदेतच वाढला.