Песня сочинена большей частью Полом Маккартни, однако была закончена при участии Леннона. 10 сентября 1963 года, когда Джон и Пол выходили из офиса своего издателя на Чаринг-Кросс-Роуд, они встретили на улице менеджера группы Rolling Stones Эндрю Олдхема. Он поделился с ними своим беспокойством по поводу материала для своей группы, а так как The Beatles уже дважды были на концертах Rolling Stones в лондонских клубах, Пол тут же предложил "I Wanna Be Your Man". Затем они отправились в Studio 51 на Грейт-Ньюпорт-стрит, клуб, где в тот момент репетировали Rolling Stones. Им показали песню, и Брайан Джонс, тогдашний лидер группы, оценил ее по достоинству. Более того, Decca требовала от них сингла. Джон и Пол обсудили это между собой, и Джон сказал: «Парни, если вам действительно так понравилась эта песня, то мы сейчас напишем ее для вас до конца». Они ушли в соседнее помещение и через несколько минут вернулись с готовой песней. "The Beatles" включили свою версию песни в свой второй альбом "With the Beatles", основная вокальная партия исполняется Ринго Старром. Можно заключить, что песня изначально писалась под Старра — ввиду очень простой мелодии ему было бы легко исполнять эту песню из-за ударной установки.