Nacido en Richmond el 17 de enero de 1841, James Henry Dooley era hijo de John y Sarah Dooley, quienes llegaron a Estados Unidos desde Irlanda. Se establecieron en Richmond, donde formaron un hogar confortable para sus nueve hijos. John Dooley, Sr. se convirtió en un próspero fabricante de sombreros. Fue uno de los fundadores y comandante de la Guardia de Montgomery, una compañía de milicianos voluntarios compuesta en gran parte por habitantes de Richmond de origen irlandés. La familia Dooley era prominente en la comunidad y la parroquia de la Iglesia Católica Romana de San Pedro.

En 1856, James Dooley se matriculó en Georgetown College (ahora la Universidad de Georgetown), donde se distinguió como el primer estudiante en ocupar el primer puesto de su clase durante cada uno de sus cuatro años como estudiante universitario. Se graduó en 1860. Poco después, James y su hermano John se alistaron en el Ejército Confederado y se unieron a la unidad de su padre, la Compañía C de la Primera Infantería de Virginia, también conocida como la Guardia de Montgomery. James, un soldado raso, fue herido en la Batalla de Williamsburg, capturado y confinado hasta agosto de 1862. Incapacitado para continuar el servicio en la batalla, trabajó en el Departamento de Artillería. Más tarde en su vida se le refirió con el honorífico "Mayor". Inmediatamente después del final de la guerra, completó una Maestría en Artes en Georgetown.

Dooley comenzó su carrera como abogado durante los años inmediatos de la posguerra cuando Richmond estaba comenzando a reconstruir su distrito comercial, que había sido destruido por un incendio en los últimos días de la Confederación. Conocido por una mente legal brillante, un agudo sentido comercial y habilidades oratorias superiores, James Dooley pronto saltó a la fama en la comunidad y fue elegido miembro de la Legislatura de Virginia sirviendo desde 1871 hasta 1877.

En asuntos comerciales, James Dooley y sus socios de Richmond estaban igualmente decididos a construir su propia riqueza y estabilizar y desarrollar la economía de su región devastada por la guerra. En 1880, como nuevos miembros de la junta directiva de Richmond y Danville, este grupo se dedicó a reconstruir y unir líneas de ferrocarril pequeñas y dispersas. Finalmente, Richmond y Danville llegaron al sur profundo. Dooley también hizo importantes inversiones en la gran Sloss-Sheffield Iron and Steel Company y otras empresas en el área de Birmingham. Se convirtió en director de Chesapeake y Ohio, y líder en la fundación de Seaboard Air Line Railroad. Entre sus muchas empresas comerciales diversas se encuentran Richmond and West Point, Land, Navigation and Improvement Company; el Fondo de Construcción de Viviendas del West End; Richmond and St. Paul Land and Improvement Company; y Merchants National Bank.

El liderazgo de James Dooley en varios esfuerzos cívicos corre como un hilo continuo a lo largo de la historia de Richmond, desde principios de la década de 1870 hasta principios de la década de 1920. Al igual que su padre antes que él, fue un fiel miembro de la junta del orfanato St. Joseph durante más de 50 años. Formó parte de la junta del Colegio Médico de Virginia y, en 1919, donó los fondos para la construcción del Hospital Dooley. Se convirtió en funcionario de la Asociación de Educación Cooperativa de Virginia, que defendía la educación pública universal. Un orador talentoso, Dooley reunió a la comunidad en torno a muchas causas, incluido el apoyo a las víctimas de la hambruna irlandesa. Fue presidente del Richmond Art Club durante más de una década y donó un edificio para exposiciones, lecciones de arte y conferencias. Sus cartas a los miembros de su familia, su biblioteca y el contenido de su hogar, todo revela su amor por el arte y su amor por el aprendizaje de toda la vida. Fue miembro de Deep Run Hunt, Westmoreland y Commonwealth Clubs en Richmond. Frecuentemente en la ciudad de Nueva York por negocios, fue miembro de los Clubes Universitarios y de Manhattan.

James Dooley murió el 16 de noviembre de 1922 en el Grace Hospital a la edad de 81 años. Primero fue enterrado con sus antiguos camaradas confederados en el cementerio de Hollywood y luego volvió a ser enterrado una vez que se completó el mausoleo en Maymont. A través de los muchos legados de su testamento, se convirtió en uno de los mayores benefactores de Richmond. A St. Joseph's Villa (anteriormente St. Joseph's Orphanage), dejó tres millones de dólares, el legado más grande jamás recibido por una organización benéfica católica romana en los EE. UU. Hasta ese momento. Tras su muerte, los habitantes de Richmond se enteraron de que Maymont se dejaría en manos de la ciudad de Richmond como parque y museo después de la muerte de la Sra. Dooley. La Sra. Dooley donó medio millón de dólares para construir la Biblioteca Pública de Richmond en memoria de su esposo.