Как и в случае "A Day in the Life", композиция "Baby, You're a Rich Man" получилась из двух недописанных песен. Она начинается с творения Джона под рабочим названием «One Of The Beautiful People», а затем переходит к части Пола – припеву «rieh man». Термин «прекрасные люди – the beautiful people» относился к неформальной тусовке, которые противопоставили традиционному и консервативному сообществу длинные волосы, наркотики и свободную любовь. Они постоянно использовали слово «прекрасный» в разговоре, чтобы описать все то, что им нравилось. «В глубине души я знал, что все вокруг меня прекрасно, – говорил Пол в интервью International Times, которое он давал под действием наркотиков в январе 1967 года. – Вместо того чтобы постоянно возражать: «О нет, мне не нравится эта телепередача!» или «Нет, я не люблю театр!», я знаю, что и то, и другое прекрасно, что плохого не существует – хотя бы потому, что я так думаю, потому что я не могу подумать об этом плохо».