W jedynym z wywiadów, Cole Swindell wyznał, że do napisania Ain't Worth The Whiskey zainspirowały go osobiste doświadczenia. Niedługo przed powstaniem piosenki, artysta rozstał się z partnerką, która była wobec niego niewierna. Szybko jednak nauczył się żyć bez niej i postanowił stworzyć piosenkę, w której dałby temu wyraz.
W utworze, Swindell wciela się w rolę młodzieńca, który - zwracając się do byłej dziewczyny - informuje ją, że w końcu poradził sobie z jej odejściem. Kobieta nigdy nie była dobrą partnerką dla podmiotu lirycznego - nie szanowała go, nie wspierała i prawdopodobnie regularnie zdradzała.
Mężczyzna przyznaje, że ostatnio często zdarza mu się wychodzić do pubu i odurzać się alkoholem. Zapewnia jednak, że nie stara się w ten sposób utopić smutków związanych z niedawnym zerwaniem. Dziewczyna, z którą się rozstał nie jest bowiem warta ani kropli wypijanej przez chłopaka whiskey. Zamiast więc upijać się by o niej zapomnieć, kowboj woli wychylać kolejne kieliszki na cześć muzyki country, dawnych przyjaciół czy żołnierzy walczących za oceanem.
