A mediados de los 60, produce dos sencillos especialmente ambiciosos: You've Lost that Lovin' Feelin (1964), de los Righteous Brothers, y River Deep, Mountain High, de Ike y Tina Turner (1966). Tras ellos se retira durante algunos años del negocio discográfico, al que regresa (no sin polémica) cuando John Lennon le encarga en 1970 dar forma publicable a las grabaciones del proyecto Let it be. Spector modifica el sonido de varias canciones, enriqueciendo el acompañamiento con múltiples pistas de instrumentos y coros. Paul McCartney queda especialmente descontento con The Long and Winding Road, balada de piano, a la que Spector añade toda una orquesta. McCartney aprovecha cualquier ocasión para criticar el tratamiento del disco, y no descansa hasta editar, ya en el 2003, una versión "limpia" de los arreglos de Spector (Let It Be... Naked).

En los años setenta, Spector produce a artistas como John Lennon, Leonard Cohen, George Harrison y los Ramones. Tras esto, abandona casi absolutamente la actividad artística, convirtiéndose en una leyenda viva pero inactiva.

En 1975 produce el disco Rock 'n' Roll de John Lennon. Las sesiones de grabación eran caóticas, llenas de gente conocida o no, amigos de John Lennon o de Spector que entraban y salían constantemente. Cuando el caos no tenía ya control, Spector, que siempre concurría con un revolver en el cinto, efectuaba un par de dispararos al aire para recuperar la calma del estudio.