Pragnienie Alison Goldfrapp do jazdy na białym koniu nawiązuje do kilku rzeczy. Bianca Jagger wystąpiła w Studio 54 na białym koniu. Zapytana czy wejście do Jaggera było inspiracją do piosenki, Goldfrapp odpowiedziała: „Tak, odnosi się do tego. Ale odnosi się także do wielu innych rzeczy. Moment Bianki Jagger nie zainspirował mnie specjalnie, ale pomyśleliśmy, że to tylko niezapomniany moment z epoki disco, który jest warty uwagi”.
Koń jest slangiem dla heroiny; zważywszy na mroczną / dekadencką atmosferę klubową tworzoną przez utwór, wydaje się, że tylko leki są w to zaangażowane. Heroina wydaje się dziwnym wyborem na czarującą noc disco.
Niektórzy twierdzą, że biorąc pod uwagę fuzję glam rock Supernature i odniesienie T. Rexa w "Ooh La La", tytuł jest okrzykiem do "Ride a White Swan" T. Rexa. Goldfrapp zaprzecza temu:
Mówiąc o bóstwach, w biblijnej apokaliptycznej księdze Objawienia, chrześcijański mesjasz Jezus Chrystus jest przepowiedziany, by jeździć na białym koniu:
„Teraz ujrzałem niebo otwarte, a oto biały koń. A Ten, który na nim siedział, nazywał się Wierny i Prawdziwy, a sprawiedliwy osądzał i prowadził wojnę. Jego oczy były jak płomień ognia, a na Jego głowie było wiele koron. (...) A wojska niebieskie, szły za Nim na białych koniach”.
