В семь лет уроженец Калифорнии стал играть на аккордеоне. Подростком отнес кассету на комедийную радиопередачу Dr. Demento Show, где его трек поставили в эфир, а ведущий Барри Хансен стал его другом. Контракт Янкович получил в 1979-м, перепев песню The Knack «My Sharona» (под названием «My Bologna») — авторам она понравилась, они попросили издать ее на Capitol Records. Про аккордеон Янкович не забывает до сих пор и обязательно вставляет в каждый альбом какую-нибудь польку.
Его альбомы становились в Штатах платиновыми и золотыми. В 2006-м пластинка «Straight Outta Lynwood» и сингл «White & Nerdy» попали в первую десятку Billboard. В России, вероятно, Янкович стал известен благодаря клипу «Smells Like Nirvana». По словам Дэйва Грола, после его появления участники Nirvana почувствовали, что стали знаменитыми. Кстати, эта пародия — редкий пример, когда Янкович иронизировал над авторами песен, в данном случае — над тем, что никто не понимает смысла их текстов. Обычно он полностью переигрывает чужие песни (и переосмысливает видеоряд), но в качестве темы выбирает похожие по звучанию слова. Вместо джексоновского «Bad» — «Fat», которая вышла на альбоме под названием «Even Worse» («Еще хуже»). Также Янкович пародировал Боба Дилана («Bob»), Dire Straits (причем в «Money for Nothing» — «Beverly Hillbillies» Марк Нопфлер играл на гитаре), Леди Гагу («Born This Way» — «Perform This Way»), Queen («Another One Bites the Dust» — «Another One Rides the Bus»), Мадонну («Like a Virgin» — «Like a Surgeon»). Последний хит Янковича — «Tacky», сделанный на основе «Happy» Фаррелла Уильямса. По его дискам можно отследить, как менялась сама поп-музыка. Не меньше, чем пародий, он сочинил и оригинальных юмористических песен. Сами авторы относились к Янковичу с уважением. Мадонна, к примеру, называла себя его большой фанаткой.
Янкович также засветился в кино, в частности, он сделал про себя мокьюментари «The Compleat Al», снимался в культовой комедии «UHF» («Ультравысокая частота»). Кроме того, он делал клипы трио Hanson, The Black Crowes, Бену Фолдсу, The Presidents of the United States of America, написал несколько детских книг.