Baker, James S. (James Sherman), 1835-1880