I’m Not Your Man to smutna ballada o nieodwzajemnionym uczuciu. W utworze, John Newman wciela się w rolę zakochanego mężczyzny. Wybranka jego serca traktuje go jedynie jak przyjaciela, co niezwykle rani chłopaka. Marzy on bowiem o wielkiej miłości i cudownym związku z kobietą, do której zwraca się w piosence. Niestety, młodzieniec „nie jest jej mężczyzną” i możliwe, że nigdy nie będzie.
Podmiot liryczny wspomina czasy, kiedy poznał cudowną niewiastę. Zdarzyło się to trzy lata temu. Mężczyzna był wówczas jeszcze chłopcem i nie potrafił uwieść tak wspaniałej panny. Musiał więc zaakceptować fakt, że zostaną tylko przyjaciółmi, a dziewczyna zwiążę się z innym kawalerem. Choć jego obolałe serce ciężko znosiło widok ukochanej z partnerem, młodzieńcowi udało się utrzymać znajomość ze śliczną niewiastą.
Bohater przedstawianej historii aktualnie wciąż koleguje się z kobietą, w której jest zakochany. Spędza z nią niemal każdy wieczór – wspólnie się bawią, dużo rozmawiają, wspierają się nawzajem. Mężczyzna pociesza także dziewczynę w związku z jej obecnym związkiem. Okazuje się bowiem, że wybranek jej serca nie tylko źle traktuje, ale również zdradza swoją partnerkę. Podmiot liryczny nie może zrozumieć dlaczego jego ukochana nie rozstanie się z draniem i nie pokocha jego – wiernego, dobrego i czułego przyjaciela.
