“I Walk the Line” jest opisywany jako zamykający utwór deluxe version Badlands, debiutancki album studyjny Halsey. To zuchwała, duszna okładka jednej z najsłynniejszych piosenek Johnny'ego Casha.
Halsey powiedziała, że ta piosenka jest znacznie mroczniejsza i bardziej osobista niż pozostałe zawarte na debiutanckim albumie. Halsey nie nosi swojego serca na rękawie i otwarcie pokazuje swoje uczucia innym, obawiając się jednocześnie, że jej serce zostanie kiedyś złamane. Zawsze jest ostrożna w stosunku do innych w obawie przed „związkiem, który wiąże na stałe”.
Intro piosenki sugeruje, że Halsey posiada tą wyjątkową osobę w swoim życiu. Nie chce zepsuć tego związku, więc idzie prosto przed siebie, starając się dochować wierności. „Przejście przez linię” można zdefiniować jako „utrzymywanie kruchej równowagi między jedną skrajnością, a drugą”.
Dwie skrajności Halsey mogą być wrażliwością i nietykalnością w miłości. Dla swojego kochanka jest gotowa utrzymać tę ryzykowną równowagę i prawdopodobnie popaść w sam środek swojej wrażliwości.