Выступления в «Файв Спот» сделали Колтрейна влиятельной фигурой в джазе, и когда Сонни Роллинс ушел от Девиса, Колтрейн оказался единственным возможным кандидатом на его место. Осенью 1957 года он вернулся в квинтет Майлса Девиса. Его имя часто стало появляться в различных джазовых анкетах. В 1960 году, после концертного турне с Девисом по Европе, он начал работать самостоятельно.
Как ни странно, его первые значительные записи были возвратом к хард-бопу. «Giant Steps» - первая пластинка – вышла в конце 1959 года и содержала лишь собственные его композиции.
В это время возникает интерес Колтрейна к восточной музыке, в которой широко используются специфические лады. Он участвовал в записи пластинки «Kind of Blue», в которой воплотился первый опыт применения модальной системы. Многие композиции Колтрейна того времени также построены на ней. Но Колтрейн стремился к поиску новых путей. Освоив модальный принцип, он хотел найти новые способы его использования, и в итоге пришел к политональности, которая уже давно использовалась в европейской симфонической музыке. Именно Колтрейн разработал принцип джазовой политональности и внедрил его в практику.
В 1960 году Колтрейн создал ансамбль, в который вошли барабанщик Элвин Джонс, пианист МакКой Тайнер и контрабасист Стив Девис. Впоследствии Девиса сменил Регги Уоркмен, а его в свою очередь – Джимми Харрисон. С этим составом Колтрейн играл несколько лет.
Творческая эволюция неизбежно должна была привести его к фри-джазу. Он не мог обойти вниманием авангардистское течение. Первой попыткой сыграть фри-джаз была композиция «The Invisible». Годом позже, в 1961 году, была записана пластинка «Impressions». Этими записями Колтрейн заявил о своем внедрении в свободный джаз.
Увлечение фри-джазом отразилось на выборе исполнителей для ансамбля. В 1961 году Колтрейн решил ввести в ансамбль еще один духовой инструмент, и пригласил Эрика Долфи, с которым был дружен с 1954 года. С Колтрейном он записывался на удивление мало: его имя появляется лишь на трех пластинках. С 1963 года Долфи в основном выступал в Европе, где и умер в 1964 году. Его преемником в ансамбле стал Фарао (Фаррелл) Сандерс, игра которого была еще более свободной. Еще позднее к ансамблю присоединился барабанщик Рашид Али, также относящий себя к школе свободного джаза. Между ним и другим барабанщиком, Элвином Джонсом, возникла конкуренция: они устраивали на своих инструментах шумные баталии, полностью заглушавшие звучание духовых. Обстановка в ансамбле накалялась. Сначала ушел МакКой Тайнер, затем Элвин Джонс. Наконец во время гастрольного турне по Японии прямо со сцены ушел Джимми Харрисон. Колтрейн не удерживал его. Только задним числом, после его смерти в1967 году, стало понятно, что в то время он уже был тяжело болен.
На создание произведения искусства оказывают влияние многие факторы. В случае Колтрейна наиболее важным фактором представляется его личность. Его мастерство обязано предыдущим поколениям в меньшей степени, чем искусство других видных джазменов, ибо оно в высшей степени самобытно и, по видимому, возникло спонтанно.