Piosenka jest smutną historią kobiety, która czuje możliwość utraty ukochanego na rzecz drugiej, o wiele urodziwszej od niej samej przedstawicielki płci pięknej. Dolly Parton opisuje Jolene jako posiadaczkę bujnych, kasztanowych włosów i zielonych oczu. Jej skóra, w kolorze przypominająca kość słoniową, jest aksamitna, gładka i miękka jak jedwab. Jej zjawiskowe ciało nie ma żadnych skaz.
Piękno dziewczyny tkwi jednak nie tylko w jej wyglądzie. Oprócz cudownej aparycji, uwodzicielka ma również „uśmiech, jak oddech wiosny” i dźwięczny, przyjemny w odbiorze głos. Najgorszy jest jednak fakt, że mężczyzna, którego kocha wokalistka, nocą, podczas snu szepce imię piękności i głośno wzywa Jolene. To doprowadza artystkę do płaczu, ale wie, że nie jest w stanie konkurować z wyjątkowo atrakcyjną młodą dziewczyną. Poprzez piosenkę, Parton błaga ją, aby „nie zabierała jej ukochanego, tylko dlatego, że może to zrobić”. Dla piosenkarki mężczyzna jest całym światem i kobieta wie, że „nigdy nie potrafiłaby już nikogo pokochać”.
Mogłoby się wydawać, że utwór napisany został przez Dolly Parton na podstawie jej osobistego doświadczenia. Tak jednak nie było. Piosenkarka w wywiadzie dla NPR przyznała, że do stworzenia przeboju zainspirowała ją mała dziewczynka, którą spotkała przy okazji rozdawania autografów. Co prawda dziewczę miało rude, a nie kasztanowe włosy, ale kolor jej oczu i skóry odpowiada opisowi uwodzicielki z utworu. Artystka spytała małą fankę o imię i okazało się, że rodzice nazwali ją Jolene. Parton natychmiast uznała, że sam już dźwięk imienia brzmi jak piosenka i postanowiła napisać tekst będący wyrazem zachwytu nad urodą młodej wielbicielki.
