Песня написана Джоном Ленноном. Как и многие песни Джона, "You Can’t Do That" также автобиографична. Роберт Сэндол написал о ней: «… ['You Can’t Do That'] с её напряжёнными угрозами противоречит радушному тону. В ней выразились сексуальная паранойя и мучительный, щемящий ритм…». Тема ревности, поднятая в песне, также проявилась в таких композициях Леннона, как "Run for Your Life" и "Jealous Guy".