Джим Джеффрис родился 15 апреля 1875 года в штате Огайо (США) в семье фермера. У него было четыре брата и три сестры. В 1881 году семейство Джеффрисов переехало в Лос-Анжелес. Там, как и многие его ровесники, он стал увлекаться борьбой и боксом. Джеймс от рождения имел отменную физическую силу. Однажды на охоте он подстрелил лося и нес его на плече 9 миль.

Карьеру профессионального боксера он начал в Лос-Анджелесе в 1896 году, нокаутировав в 14-ом раунде ветерана ринга, проведшего более 100 боев, М.Гриффина. Между Джеффрисом и его менеджером Уильямом Бреди никогда не было юридического контракта. Бреди говорил: слово Джеффриса лучше, чем контрат.

Джим в течении трех лет одерживает победу за победой, пока с ним не соглашается на поединок чемпион мира Роберт Фитцсиммонс. Бой состоялся 9 июня 1899 года в Бруклине. В течении всего боя Джеффрис превосходил чемпиона по всем статьям, а в 11-ом раунде послал его в нокаут и стал третьим абсолютным чемпионом мира.

Позднее, в 1902 году Фитцсиммонс предпринял еще одну попытку одолеть Джима, но был нокаутирован еще быстрее – в 8-ом раунде.

В ранге чемпиона Джеймс не избегал сильных соперников в титульных боях, он совершал турне по Европе, встречался с лучшими боксерами европейского континента, неоднократно отстаивал свой титул. Джеффрис настолько был уверен в своих силах, что однажды предложил Бобу Фитцсиммонсу, Джиму Корбету и Тому Шаркею, лучшим претендентам на титул чемпиона того времени, провести с ними бои в течении одного дня, но они отказались.

В 1904 году он женился. Вскоре Джеймс и его жена Фрид обзавелись малюткой Мэри, и в 1906 году боксёр покидает ринг непобежденным.

В те времена в Америке процветал расизм и когда Томми Бэрнс в 1908 году уступил свой титул черному гиганту Джеку Артуру Джонсону, срочно стали искать достойного соперника для него. Выбор пал на Джеймса Джеффриса. К тому времени Джеймс уже 5 лет занимался своим фермерским хозяйством и был не в самой лучшей форме. Затея не удалась: бой состоялся 4 июля 1910 года и принес победу в 15-ом раунде Джеку Джонсону.

За всю свою долгую чемпионскую карьеру Джеффрис ни разу не был на полу, ему принадлежит и рекорд самого быстрого нокаута – 55 секунд.

Позднее Джеймс Джеффрис еще несколько раз участвовал в показательных боях. Скончался он 3 марта 1953 года в Калифорнии.