Песня написана Джорджем Харрисоном. Джордж написал эту песню после ужина в доме Клауса Воорманна, немецкого художника и музыканта, с которым они познакомились в Гамбурге и который делал обложку для альбома Revolver. На вечеринке были также Тони Кинг и Пэтти Харрисон. Кинг знал членов The Beatles с их первого появления в Лондоне в 1963 году, и позже он стал работать в компании Apple. «В середине вечера Джордж ушел в музыкальную комнату Клауса, и оттуда начали доноситься ужасные звуки, – вспоминал Кинг. – Но в итоге Джордж все‑таки что‑то написал и даже начал играть нам какие‑то отрывки. В результате это оказалась композиция "Within You Without You". Джон сказал мне как‑то, что инструмент, на котором ты впервые написал песню, должен быть основным на записи, и действительно, в отличие от расстроенного фортепиано в доме Воорманна, гитара звучала совершенно по‑иному». "Within You Without You" стала второй песней Харрисона после "Love You To" испытавшей явное влияние индийской классической музыки. Для альбома Sgt. Pepper Харрисон также записал песню "Only a Northern Song", которая, однако, в альбом так и не попала. Изначально, длительность "Within You Without You" составляла 30 минут, но для включения композиции на альбом, Харрисон сократил её. Включить смех в конце песни было идеей Харрисона, желавшего таким образом облегчить настроение и следовать звучанию альбома.