James nació cuando su mamá contaba 16 años. Desde su nacimiento, su progenitor no quiso saber nada de él abandonando a su madre por problemas con la bebida, por lo que fue criado únicamente por ella. Pasó unos primeros años complicados dado que su madre no encontraba trabajo tomando una vida nómada en Akron.