Mezőcsáton látta meg a napvilágot 1843. november 30-án. Édesapja, Klein István, szegény zsidó falusi boltos, édesanyja a pogromok elől Magyarországra menekült litván zsidó kántortanító leánya volt. 1850-ben a család Serkére költözött, ahol apja gazdálkodott, fia pedig itt ismerkedett meg az irodalommal Almási Balogh Sámuel református pap segítségével. Szülei rabbinak szánták, Miskolcon kezdett tanulni, de 13 éves korában Bécsbe szökött. Hazatérése után a rimaszombati gimnáziumban, majd a Debreceni Református Kollégiumban tanult tovább.
1862-ben abbahagyta a tanulást, 5 évig vándortanító volt az alföldi városokban. 1867-ben, amikor kimondták a zsidók emancipációját, Pestre ment, hogy kiadassa verseit. A Deutsch-féle nyomdában korrektorként dolgozott, 1870-1873 között a nyomda kiadásában megjelenő Képes Világ című lap szerkesztője volt. Első sikerét 1875-ben aratta Simon Judit című balladájával, ami Toldy Ferenc kezébe került, aki a költeményt bemutatta a Kisfaludy Társaság ülésén. A költemény és vele a költő neve csakhamar országszerte ismertté vált, balladáit és egyéb verseit attól fogva nagy érdeklődéssel fogadták. A Simon Judit balladát 40 év elteltével, 1915-ben Mérei Adolf rendezésében, Cs. Aczél Ilona és Somlay Artúr főszereplésében vászonra vitték, némafilmet készítettek belőle.
1876-tól hat éven át a temesvári zsidó hitközség jegyzője volt. 1882-től ismét Budapesten élt, mint a magyar–francia biztosítótársulat tisztviselője. Költői híre ez idő alatt növekedett, különösen, mint ballada-költő tűnt ki. Költeményeit németre is lefordították. A fővárosba költözése után 1888-ban kiadja Ünnepnapok című kötetét, mely a zsidó ünnepekről írt személyes hangvételű líráinak gyűjteménye. A kötet kezdő verse Az én imádságom címet viseli, melyben személyes hangvétellel nyílik meg lelke Teremtője előtt:
Mikor levetve papi biborát
S minden hivalgó földi éket,
A főpap öltött tiszta lenruhát,
S a legbensőbb szentélybe lépett,
Meghozni az urnak áldozatát,
S feloldani bűntől a népet:
Követve régi gyakorlatot,
Elsőbb magáért imádkozott.
S im én is, verve zönge kobozon
Az áhitat húrjait lágyan,
Először magamért imádkozom
Mélázó csöndes imádságban,
A költészet magasztos templomom,
Más templomot keveset jártam:
Az ihlet perce a szentélyem,
Hol bűnbocsánat nyilik nékem.
Nem zárt falak mögött kerestelek
Isten atyám! ki szerte lakol
A mindenségben, hol naprendszerek
Örök sürgése zúg-zakatol;
Ó, de ki mégis mindenekfelett
Művész lelkében nyilatkozol,
Erőd egy részét adván neki,
Versengve véled teremteni!
(Az én imádságom – részlet)
1890-től A Hét című folyóirat alapító szerkesztője lett, ami a Nyugat előfutára volt, mellyel kezdetét veszi a modern magyar irodalom története. A Petőfi Társaság 1877-ben, a Kisfaludy Társaság 1914-ben tagjává választotta. Kiss József irodalmi pályafutását tekintve az első kiváló magyar zsidó költőként lépett fel. Költészetének varázsát átmeneti jellege adta, mely az Arany János-hagyományokhoz kapcsolódik. Balladáival volt népszerű, nyelvezete is a hagyományos népi költészethez köti, de ugyanakkor ebbe a költészetbe olyan modern hangok vegyülnek, amelyek már a XX. századot idézik. Ezek a falusi zsidóság életét ábrázoló tematikájukkal keltettek feltűnést. Kiss József világa átmenet a falusiasság és a nagyvárosiasság között, a hagyományszeretet és a forradalmiság között, a hazafiság és a nagyvilágiasság között. Verselése átmenet a magyaros hangsúlyos és a nyugat-európai időmértékes között. Költészetében új képvilág jelenik meg: előbb a magyar falusi, paraszti életformájú zsidóság, majd a nagyvárosi kispolgárság.
Balladái nagyobb részeit átszövik a népies díszítések, érzelmes motívumok, melyek keverednek a bűnügyi és lírai elemekkel. Hangulatokban és színekben sohasem volt szegény. Álmodozott emlékeiről, megsiratta jó embereit, vágyódott egy jobb világ után. Érzelmeit gondolatain keresztül adta át, olykor kérkedően nyilatkozott, máskor keserűen gúnyolta önmagát. Olyan költő volt, aki egyéni húrokon játszó lírikussá vált. Lírája bánatos és álmodozóan mélabús, melyből érződik, mennyire szereti zsidó hittestvéreit, együtt érez üldözött népével, panaszos hangon emel szót az antiszemitizmus miatt szorongatott hitfelei védelmére a vérvádakkal szemben. A zsidósággal való kapcsolata az ősi hagyományok lelki közösségében gyökerezett. Saját zsidóságát sosem hallgatta el, sőt ha kellett, büszkén hirdette. Volt, hogy stílusát sokszor támadták, s magyartalanságaiból gúnyt űztek furcsa kifejezései (Pl.: „Az ember akit üldnek”, vagy „Jobb tán tudni sem”) miatt, pedig nyelvezete gazdag és színes volt, Arany és Ady között ő írt a legszebben és legnagyobb szókinccsel magyarul. Verselése a klasszikus formakincset vegyíti a népi hangvétellel. A hangsúly és az időmérték olyan együtthatását állítja elő, amellyel jelentős hatással van az egész rákövetkező magyar költészetre, új alapokra helyezve ezzel a verselést. A Hét, amelynek ő volt a „lelke”, a provincializmussal szemben a nagyvilágiasságot hozta el az irodalomba. Ezekkel a haladó mozzanatokkal mélyebben kapcsolódott a népköltészethez is, az Arany János-hagyományhoz is, mint korának nála haladóbb költői. Így vált igazi közvetítővé régi és új között.
- december 31-én hunyt el.
Sírja a Salgótarjáni úti zsidó temetőben.
Felhasznált irodalom: