„Paper Bag” to ballada o biznesie, dążeniu do uzyskania dużej ilości pieniędzy i romantycznej obsesji, z typowym dla Alison fragmentarycznym, surrealistycznym stylem pisania piosenek.
„To dość nietypowa piosenka. Myślę, że ma bardzo określony charakter i prze to jest dość specyficzna w swej wymowie. […] To jest coś, co nadal uważamy za reprezentatywne dla dźwięków, z którymi lubimy się utożsamiać. Pewnie dlatego wciąż zmierzamy w tym kierunku muzycznym, w którym aktualnie czujemy się najlepiej i najpewniej”.
"O mój Boże. Piosenka dotyczy wielu rzeczy. Biznes, smutna egzystencja, ludzie, którzy mają obsesję na punkcie zarabiania pieniędzy. Chodzi także o to, by mieć obsesję na punkcie kogoś i nie być w stanie go posiadać tylko obserwować. I o tym, co jest farsą i całkowicie bezużyteczną rzeczą”.