Tekst piosenki „By the Roadside” opowiada o uczuciach zagubienia i samotności towarzyszących podróży oraz poszukiwaniu sensu w życiu. W pierwszej zwrotce narrator opisuje gorącą noc, która sprawia, że czuje się jakby miał gorączkę. Czuje nieodpartą potrzebę oddalenia się od domu i szuka wędrówki wzdłuż białej linii, aż nie może już dłużej stać. Po ciężkiej wędrówce zdejmuję buty i kładzie się na ziemi, co symbolizuje zmęczenie i pragnienie spokoju.
Refren piosenki podkreśla osobiste winy narratora i jego akceptację odpowiedzialności za swoje decyzje. Jeśli zostanie znaleziony przy drodze, nie powinno się go oceniać; jest świadomy, że jego niepokój i trudności są wynikiem jego własnych wyborów. Narrator przyznaje, że to on sam jest winien swojego obecnego stanu rzeczy.
W drugiej zwrotce narrator opowiada o chęci zniknięcia w ciemności nocy, czując się osamotniony. Mimo że przeszłość była mroczna, obecne chwile są jeszcze bardziej przytłaczające, a on nie szuka pocieszenia ani wsparcia. Ostatecznie w trzeciej zwrotce narrator wyraża swoją determinację do podążania własną drogą, mimo że nie wie, dokąd zmierza. Gdy wraca do domu, wie, że prędzej czy później znów odejdzie, potwierdzając swoją nieprzemijającą samotność i błądzenie.
