Piosenka o samotności i, jeżeli przyjąć dość odważną interpretację, kobiecej masturbacji („ona robi to sama ze sobą”). Znajdziemy tutaj kilka przypuszczalnych nawiązań do innych piosenek – słowa „dancing with myself” mogą odwoływać się do przeboju Billy’ego Idola o tym samym tytule (podobno również traktującym o masturbacji), a „I do it to myself” stanowi, być może, ukłon w stronę refrenu „Just” Radiohead.
„Go Out” była pierwszym singlem zapowiadającym płytę „The Magic Whip”. W rozmowie z New Musical Express Graham Coxon wyjaśnił, że zespół zdecydował się na wybór tej własnej piosenki, ponieważ balansuje ona pomiędzy tym, co fani Blur znają i lubią najbardziej, a czymś, co było dla grupy świeże.
Nawiązując do okładki płyty, na której widzimy loda w wafelku, Tony Hung (będący również autorem tej okładki) zrealizował prosty teledysk w konwencji programów kulinarnych. Podczas czterech i pół minuty uśmiechnięta Chinka pokazuje nam, w jaki sposób przyrządzić... no właśnie, loda w wafelku.
