Rodio se u Blatu na Korčuli 18. lipnja 1934. u uglednoj glazbeničkoj obitelji iz Arbanasa u Zadru koja je bila protjerana nakon što je Zadar 1920. pripojen Italiji te se vratila nakon njegova oslobođenja i ponovnog pripojenja Hrvatskoj 1947., javlja Hrvatska akademija znanosti i umjetnosti.

Prvu glazbenu poduku dobio je od oca, skladatelja Šime Dešpalja. U Zadru je završio glazbenu školu i gimnaziju, a 1960. diplomirao je kompoziciju na Muzičkoj akademiji Sveučilišta u Zagrebu u klasi profesora Stjepana Šuleka.

Skladao je uglavnom u mladosti, a najpoznatija djela su mu Varijacije za komorni orkestar (1957.), Koncert za violinu i orkestar (1959.), Koncert za altsaksofon i gudače (1963.) te Koncert za violončelo i gudače (2001.).

U Zadru je 1961. osnovao Glazbene večeri u sv. Donatu i Zadarski komorni orkestar. Od 1962. do 1967. bio je šef dirigent Simfonijskog orkestra Radiotelevizije Zagreb. Od 1968. bio je dirigent, a od 1970. do 1981. i glazbeni ravnatelj Floridskog simfonijskog orkestra i Opere u Orlandu na Floridi. Od 1981. do 1986. bio je šef dirigent Zagrebačke filharmonije, a od 1981. do 1983. ujedno i ravnatelj glazbenog programa Dubrovačkih ljetnih igara. Od 1987. do 1995. bio je redoviti profesor dirigiranja na Muzičkoj akademiji u Zagrebu, a od 1995. do 1998. dirigent Tokyo Geidai filharmonije i profesor na Tokijskom nacionalnom sveučilištu. Od 1998. do 2012. bio je šef dirigent Hrvatskog komornog orkestra, a ujedno od 2000. do 2009. šef dirigent Splitskog komornog orkestra.

Godine 2010. bio je umjetnički vođa i dirigent Mozartina – nedjeljnih matineja Simfonijskog orkestra Radiotelevizije Slovenije, a od 2011. do 2012. ponovno je bio šef dirigent Simfonijskog orkestra Hrvatske radiotelevizije.

Akademik Pavle Dešpalj vodio zagrebačke orkestre na brojne turneje po gotovo svim zemljama Europe, te po Americi i Dalekom istoku. Bio je gost dirigent u prestižnim inozemnim simfonijskim orkestrima u Luksemburgu, Toulouseu, Milanu, Frankfurtu, Bratislavi, Salzburgu, Budimpešti, Bukureštu i Moskvi. Također je ravnao Londonskom kraljevskom filharmonijom, moskovskim Ruskim državnim simfonijskim orkestrom, Novosibirskom filharmonijom, Pitsburškim simfonijskim orkestrom, Čikaškim Festivalskim orkestrom u Grand Parku, Tokijskom filharmonijom, Tokijskim simfonijskim orkestrom te Operama u Tokiju i Yokohami.

Akademik Pavle Dešpalj dobitnik je Nagrade grada Zagreba 1965., Konzilija centralne Floride za znanost i umjetnost 1978., Nagrade Milka Trnina 1980., Nagrade Josip Štolcer Slavenski 1990., Nagrade Vladimir Nazor 1992., te Nagrade Orlando 1993. i 2006. Godine 1994. primio je posebno priznanje Ministarstva kulture, a 1996. prvi hrvatski predsjednik Franjo Tuđman odlikovao ga je Redom Danice hrvatske s likom Marka Marulića.

Dobitnik je Medalje grada Varaždina 1997., Nagrade Ivan Lukačić 1999., Nagrade Ministarstva kulture za 2002., Nagrade Zlatno zvono 2004., Nagrade za životno djelo Vladimir Nazor 2005., nagrade Judita 2005. i Nagrade grada Zadra za životno djelo 2006. Godine 2012. dobio je Nagradu Lovro pl. Matačić, a 2014. nagrađen je Plaketom grada Varaždina. Dobitnik je godišnje diskografske nagrade Porin 1997., 2002., dva puta 2005., 2009., 2014., i dva puta 2017., a 2010. dobio je Porina za životno djelo.

Bio je član međunarodnih žirija dirigentskih natjecanja u Zagrebu, Budimpešti i Tokiju. Bio je počasni šef dirigent Simfonijskog orkestra HRT-a, počasni šef dirigent Zagrebačke filharmonije, doživotni počasni šef dirigent Hrvatskog komornog orkestra, počasni dirigent Dubrovačkog simfonijskog orkestra i Zadarskog komornog orkestra. Bio je i počasni građanin Daytona Beacha te professor emeritus Tokijskog nacionalnog Sveučilišta.

Redoviti član Hrvatske akademije znanosti i umjetnosti bio je od 1992., a član suradnik od 1998. Od 2004. do 2010. bio je potpredsjednik HAZU, a od 2013. do 2018. zamjenik Razreda za glazbenu umjetnost i muzikologiju.