В 1971 году окончил академию имени Сибелиуса по классу Эйноюхани Раутаваара. После окончания академии некоторое время занимался у Бориса Блахера в Берлине. С 1974 по 1988 год Ахо преподавал теорию музыки в Хельсинкском университете. С 1988 по 1993 он вел педагогическую деятельность в академии имени Сибелиуса. После этого Калеви Ахо сосредоточился на композиторской работе. Жанровый диапазон простирается от сценической и симфонической до сольной и камерной музыки. Среди его сочинений 15 симфоний, 18 инструментальных концертов, 4 оперы, квартеты, квинтеты, сонаты. В настоящее время Калеви Ахо считается одним из крупнейших современных композиторов Финляндии.
29 ноября 2016 года награжден государственной премией Финляндии в области культуры.