Детство Олега прошло в Джезказгане. Состоятельная в прошлом семья жила очень бедно. Мать работала бухгалтером и одна кормила семью: троих сыновей, Ростислава, Николая и Олега. Но при всем при этом Янковские держали богатую библиотеку, говорили на иностранных языках, много читали. Со временем Янковские перебрались в Саратов.

В 1965 году Олег окончил Саратовское театральное училище и стал актером местного драмтеатра. За пять лет работы в Саратове сыграл множество ролей в спектаклях, в т.ч. «Затейники», «Чти отца своего», «Рождество в доме синьора Купьелло», «Стакан воды», «Миллионерша». Одна из самых ярких его работ в театре была роль князя Мышкина в спектакле «Идиот».

В 1973 году Олег Янковский  был приглашен в прославленный московский «Ленком», где быстро стал одним из ведущих актеров. В родном театре сыграно множество ролей, среди которых роли в спектаклях «Автоград XXI», «Ясновидящий», «Синие кони на красной траве», «Парень из нашего города», «Школа для эмигрантов», «Гамлет», «Чайка», «Королевские игры», «Варвар и еретик», «Шут Балакирев» и других.

В начале 90-х годов Олег Янковский несколько месяцев с успехом играл во Франции, в пьесе «Падение», поставленной Пьером Режи.

Огромную популярность Янковскому принес кинематограф. Дебютом в кино стала небольшая роль в фильме «Звонят, откройте дверь!».

Первой серьезной работой в кино стала роль Генриха Шварцкопфа в легендарной картине «Щит и меч», вышедшей на экраны в 1968 году. В том же году он сыграл красноармейца Андрея Некрасова  в ленте «Служили два товарища». После выхода этих фильмов Янковский мгновенно стал знаменитым. На талантливого актера обратили внимание кинорежиссеры, посыпались предложения.

Блестящий актерский талант позволял ему органично и искренне выглядеть в разноплановых ролях: партийного функционера («Премия», «Обратная связь»), декабриста Кондратия Рылеева («Звезда пленительного счастья»), неустроенного человека («Чужие письма», «Сладкая женщина»). Среди заметных работ роли в фильмах «Слово для защиты», «Мой ласковый и нежный зверь», «Цареубийца», «Влюблен по собственному желанию», «Полеты во сне и наяву», «Храни меня, мой талисман», «Первая любовь».

Способность легко вписываться в разнообразные художественные миры позволила актеру быть востребованным самыми разными режиссерами. Янковский играл в популярных телефильмах Марка Захарова «Обыкновенное чудо», «Тот самый Мюнхгаузен», «Дом, который построил Свифт», «Убить Дракона», снимался у Андрея Тарковского  — в «Зеркале» и «Ностальгии».

В последние годы актер снялся в фильмах «Прокрустово ложе», «Любовник», «Бедный, бедный Павел», «Доктор Живаго», «Анна Каренина», «Райские птицы». Всего на счету актера около 80 художественных лент. Одной из последних его работ в кино стала картина «Стиляги» Валерия Тодоровского.

В 2000 году Олег Янковский снял свой первый фильм — «Приходи на меня посмотреть», в котором сыграл одну из главных ролей.

С 1993 года Янковский был президентом Открытого Российского кинофестиваля в Сочи «Кинотавр».

Творчество актера отмечено по заслугам. В 1977 году Олег Янковский стал лауреатом премии Ленинского комсомола. В 1991 году он был удостоен звания Народного артиста СССР.

В 1987 году актеру за роль в художественном фильме «Полеты во сне и наяву» была присуждена Государственная премия СССР. В 1989 году за художественный фильм «Крейцерова соната» была присуждена Государственная премия РСФСР. В 1996 году актер был удостоен Государственной премии РФ за театральные работы. В 2002 году за спектакль «Шут Балакирев» в Ленкоме Янковский стал лауреатом Государственной премии РФ.

Олег Иванович обладатель многих наград, в том числе приза «Ника» за лучшее исполнение мужской роли в фильмах «Цареубийца» и «Паспорт». Он был удостоен специального приза гильдии актеров «за выдающийся вклад в профессию», стал лауреатом премий «Кумир», «Созвездия», «Золотой Орел», премии имени К.С. Станиславского.

Награжден орденами «За заслуги перед Отечеством» IV, III и II степеней.

Самые близкие люди для Янковского — жена Людмила, сын Филипп, невестка Оксана Фандера и двое внуков — Ваня и Лиза.