Песня написана Полом Маккартни. Сначала в песне речь шла о нескольких разноцветных субмаринах, но, в конце концов, осталась только одна жёлтая. Идея к написанию этой композиции пришла к Маккартни, когда музыкант жил в доме родителей своей подруги, Джейн Эшер. В 1980 году Маккартни говорил о песне: «Помню, однажды ночью я лежал в постели и уже начинал засыпать, и в этом полусне ко мне в голову вдруг пришла нелепая мысль о жёлтой подводной лодке: „Мы все живём на жёлтой подводной лодке…“ Мне нравится всё, связанное с детьми, — то, как дети думают или фантазируют. Поэтому мне вовсе не показалась нелепой идея этой сюрреалистической, но вместе с тем и абсолютно детской песни. А ещё я подумал: раз Ринго так ладит с детьми — он похож на добродушного дядюшку — было бы неплохо, если бы он спел эту детскую, не слишком серьёзную песню. Его вокальные возможности вполне это позволяли». В процессе написания Пол посетил Донована в его квартире в районе Майда‑Вейл. «Мы часто навещали друг друга, – вспоминает Донован. – Я как раз заканчивал работу над альбомом Sunshine Superman, и мы играли друг другу свои новые песни. Одна из песен Пола была о желтой подводной лодке, но ему не хватало нескольких строк. Он спросил меня, не могу ли я помочь. Я ненадолго вышел из комнаты, после чего пришел и сказал «skies of blue, sea of green in our yellow submarine». Это не было шедевром мирового музыкального творчества, но Полу понравилось, и в конце концов моя строчка вошла в песню». Первые демо‑записи содержат звук марширующих ног и вступление, которое зачитывает Ринго Старр.