जेम्स सोळा वर्षांचा असताना त्याचे वडील उपराष्ट्रपती आरोन बुर यांच्याशी झालेल्या द्वंद्वयुद्धात मारले गेले. द्वंद्वयुद्धानंतर काही तासांनी त्याचा मृत्यू झाला तेव्हा जेम्स त्याच्या आई आणि भावंडांसोबत त्याच्या वडिलांच्या पलंगावर उपस्थित होता. हॅमिल्टनने १८०५ मध्ये वयाच्या सतराव्या वर्षी कोलंबिया विद्यापीठातून पदवी प्राप्त केली.