Родился в 1912 году в селе Левая Россошь ныне Каширского района Воронежской области в семье крестьянина. Русский.
В 1918 году семья переехала в Сибирь – в Омск, где они прожили до 1933 года. Образование – неполное среднее. С 1933 года работал на мебельной фабрике (Бакинский горсовет) рабочим.
В 1938 году семья Агафоновых переехала в г. Куйбышев Новосибирской области, отец и сын поступили работать на мясокомбинат. Яков Григорьевич начал работать старшим мастером, затем стал начальником кишечного цеха.
В 1939 году Якова Агафонова призвали на действительную службу, затем отправили на финский фронт. В 1940 году Агафонов вернулся домой.
30 мая 1941 года призван Куйбышевским РВК на военные сборы. В первые дни войны выехал на фронт в должности командира противотанкового орудия.
Гвардии старшина, командир орудия 353-го гвардейского истребительного противотанкового полка, участвовал в боях под Москвой, на Курской дуге, при форсировании Днепра, при освобождении Украины и Польши и в других сражениях. Награжден двумя орденами Красной Звезды и медалью «За боевые заслуги».
Указом Президиума Верховного Совета СССР от 2 февраля 1944 года за подвиг, совершенный 13 ноября 1943 года у с. Шевченковка (Киевская область), присвоено звание Героя Советского Союза.
Командир орудия 1840-го истребительного противотанкового артполка (28-я истребительно-противотанковая артбригада, 38-я армия, 1-й Украинский фронт) старший сержант Агафонов одним из первых в части принял бой с 17 танками и уничтожил три из них. Оставшись один у орудия, вел неравный поединок до конца боя.
Старшина Агафонов Яков Григорьевич погиб 18 августа 1944 года в бою за Варшаву. Похоронен в предместье Варшавы – г. Праге.
Награжден орденом Ленина, двумя орденами Красной Звезды, медалью.
Улица Заводская, где жил Яков Григорьевич Агафонов, решением исполкома г. Куйбышева, № 121, от 05.05.1965 г. переименована в ул. Агафонова. 20 февраля 1969 года в г. Куйбышеве открыт кинотеатр им. Я.Г. Агафонова.
Имя Агафонова Якова Григорьевича увековечено на памятном пилоне в честь Героев Советского Союза в г. Куйбышеве и на Аллее Героев у Монумента Славы в Новосибирске [178, 240, 427, 787, 910].