Глазунова основана в 1967 году как «Петрозаводский филиал Ленинградской ордена Ленина государственной консерватории имени Н.А. Римского-Корсакова». В 1991 году консерватория преобразована в самостоятельный вуз «Петрозаводская государственная консерватория», в 2003 году Петрозаводской государственной консерватории присвоено имя выдающегося русского композитора Александра Константиновича Глазунова, который сыграл значительную роль в развитии музыкального образования России. С 2008 года в консерватории ведется обучение по программам среднего профессионального образования. В 2010 году при Петрозаводской государственной консерватории имени А.К.Глазунова был открыт Диссертационный Совет. В 2011 году консерватории присвоен статус академии. Приказом Министерства культуры Российской Федерации от 19.08.2014 г. №1634 консерватория была переименована в федеральное государственное бюджетное образовательное учреждение высшего образования «Петрозаводская государственная консерватория имени А.К. Глазунова».

Вопрос об открытии в Петрозаводске консерватории впервые был поднят в начале ХХ века. Благодаря стараниям передовых музыкантов и общественных деятелей края в середине 1919 года в городе открылись Высшие музыкальные классы с программой консерватории по специальностям фортепиано и композиция. В эти же годы стали складываться тесные связи с музыкантами Петрограда-Ленинграда — выпускниками старейшей Петербургской консерватории. Среди тех, кто способствовал установлению творческих традиций между городами, были пианист и композитор Нестор Загорный, возглавивший в 1918 году Музыкальную школу и Высшие музыкальные классы, флейтист-виртуоз, дирижер и педагог Николай Солнышков, выдающийся музыкант — композитор и дирижер Юрий Шапорин, дирижер Николай Кусевицкий. В 30-е годы  в Петрозаводске работали выпускники Ленинградской консерватории: композиторы-пианисты Леонид Вишкарев и Леонид Гликман, сыграв значительную роль в развитии профессионального музыкального искусства Карелии. Во многом Ленинградской школе обязан своим становлением и самобытный композитор, долгие годы возглавлявший Союз композиторов Карелии, Гельмер Синисало. В 40 и 50-е годы в Петрозаводске были открыты и успешно функционировали Музыкальный театр, филармония, симфонический оркестр, музыкальное училище, расширялась сеть музыкальных школ. Для дальнейшего творческого роста исполнителей, повышения уровня преподавания необходимо было открытие высшего учебного заведения.

В 1967 году благодаря совместным усилиям ведущих музыкантов симфонического оркестра, композиторов и музыковедов, в Петрозаводске была открыта консерватория  - первоначально как Петрозаводский филиал Санкт-Петербургской консерватории. В 1967 году с приветствием к студентам первого приема обратились ректор Ленинградской консерватории, народный артист СССР, профессор Павел Серебряков и первый директор филиала Георгий Лапчинский (уникальная запись торжественного открытия консерватории  хранится в фонотеке вуза). 

Cтарейшая в России Санкт-Петербургская консерватория оказала большую помощь в становлении Петрозаводской консерватории. Первые годы в Петрозаводском филиале работали ведущие профессора из Ленинграда: П.А.Серебряков (фортепиано), Ю. М. Крамаров (альт), А. А. Лазько (виолончель), Ю. А. Большиянов (труба), П. К. Орехов (валторна), П. И. Говорушко (баян), А. Б. Шалов (балалайка), заложившие традиции высокого профессионализма, присущего русской музыкальной педагогике. Это способствовало тому, что за прошедшее время Петрозаводская консерватория завоевала авторитет как признанный центр подготовки высококвалифицированных специалистов, центр концертно-исполнительской и научно-методической работы в России и за рубежом.

В 2003 году Петрозаводской государственной консерватории присвоено имя крупнейшего русского композитора, дирижера и музыкально-общественного деятеля Александра Константиновича Глазунова. А.К.Глазунов был одной из заметнейших фигур Санкт-Петербургской консерватории, находился на посту ее директора в течение 23 лет. В период его руководства вуз объединял выдающихся исполнителей, композиторов, которые крепили славу российского музыкального искусства во всем мире. Творчество А.К.Глазунова многогранно и, кроме прочего, связано с искусством Европейского Севера. Свидетельство тому — «Финская фантазия», музыкальная картина «Карельская легенда» и ряд иных сочинений. Существуют подтверждения, что Глазунов посещал Карелию. Важнейшая роль в развитии Санкт-Петербургской консерватории, а также связь с музыкальной культурой северного региона позволили видеть в А.К.Глазунове ту личность, именем которой следует назвать Петрозаводскую консерваторию как продолжателя традиций первого в России музыкального вуза. 

За прошедшие годы Петрозаводская консерватория завоевала авторитет как признанный центр подготовки высококвалифицированных специалистов, центр концертно-исполнительской и научно-методической работы  в Республике Карелия и на Европейском Севере. Успехи вуза стали возможны, благодаря таланту работавших в консерватории известных музыкантов: профессора Г.И.Лапчинского, профессора И.М.Рензина; музыковеда-ученого заслуженного деятеля искусств Карелии, доктора искусствоведения Ю.Г.Кона; пианиста, заслуженного деятеля искусств России и Карелии К.Ф.Зубравского; скрипача и дирижера заслуженного артиста России и Карелии Э.Э.Зондерегера; арфистки, заслуженной артистки России и Карелии А.Д.Тугай; певицы, заслуженной артистки России И.С.Гридчиной; композитора, заслуженного деятеля искусств России А.Л.Репникова; трубача, заслуженного артиста Карелии Л.П.Буданова, пианистов З.Ш.Тамаркиной, В.И.Слонима, Д.М.Серова и многих других, память о которых сохраняется в летописи консерватории. Много сил и энергии для успешного развития вуза отдали возглавлявшие консерваторию в разные годы Г.И.Лапчинский (1967–1971), В.М.Касаткин (1971–1977), В.Л.Калаберда (1977–1997), С.З.Сухов (1997–2002). С 2002 года консерваторию возглавляет профессор, заслуженный деятель искусств России, заслуженный артист Карелии В.А.Соловьев. 

Петрозаводская консерватория занимает одно из ведущих мест в России по научно-творческому потенциалу: среди 126 преподавателей, занимающих штатные должности в вузе, 28 профессоров и докторов наук, 47 доцента и кандидата наук,  более 40 преподавателей вуза отмечены почетными званиями и наградами Российской Федерации и Республики Карелия.  За годы существования в Петрозаводской консерватории подготовлено свыше 4000 специалистов, работающих в самых различных городах России, в странах дальнего и ближнего зарубежья: в Москве и Санкт-Петербурге, во Владивостоке и Хабаровске, в Кисловодске и Перми, в США и Канаде, в Австралии и Новой Зеландии, в ФРГ и Израиле, в Финляндии и Швеции, в Республике Корея и Китае, в Латвии, Эстонии и Литве, в Белоруссии и Украине. Высокий уровень подготовки воспитанников Петрозаводской консерватории отмечали известные музыканты — председатели государственных экзаменационных комиссий — профессора Московской консерватории — Я.И.Мильштейн, М.А.Смирнов, К.X.Аджемов, Г.Б.Аксельрод, Н.Л.Штаркман, А.Г.Бахчиев, З.И.Игнатьева и Ю.С.Слесарев, Е.Г.Сорокина и Е.В.Назайкинский, А.Л.Ляшко, профессора Российской Академии Музыки им.Гнесиных М.И.Фихтенгольц, И.П.Мозговенко, И.М.Анастасьева, петербургские профессора А.И.Ихарев, Т.П.Кравченко, Л.М.Зайчик, М.М.Комиссаров, О.Ф.Шульпяков, П.К.Орехов, Ю.А.Большиянов, В.В.Успенский. Среди выпускников консерватории есть немало заслуженных артистов и деятелей искусств России, Украины, Карелии, Республики Коми, профессоров и докторов наук, лауреатов и дипломантов Международных и Всероссийских конкурсов. Около 500 выпускников работают в Карелии, составляя кадровую основу музыкальных учебных заведений и творческих коллективов республики — Симфонического оркестра и Оркестра русских народных инструментов Карельской государственной филармонии, оркестров Национального и Музыкального театров Республики Карелия, Государственного ансамбля «Кантеле», хоров и различных музыкальных групп. 

В составе консерватории два факультета - исполнительский и теоретико-дирижерский, на которых ведется подготовка специалистов по специальностям: фортепиано, оркестровые струнные, духовые и ударные инструменты, народные инструменты, академическое пение, дирижирование академическим хором, оперно-симфоническим оркестром, оркестром народных инструментов композиция, музыковедение и этномузыкология. С 1992 года в консерватории открыта аспирантура по специальности "Музыкальное искусство". В 1994 году в вузе открылась единственная в России кафедра музыки финно-угорских народов, которая координирует работу по сохранению и научному осмыслению традиций этнических культур финно-угорского мира и обеспечивает кадрами соответствующего профиля не только Республику Карелия, но и другие этнически родственные регионы России. С 1998 года на базе консерватории осуществляется целевая подготовка по специальности "Актерское искусство" для Национального театра Республики Карелия.  С 2008 года в консерватории ведется обучение по программам среднего профессионального образования повышенного уровня по специальностям "Инструментальное исполнительство" и "Хоровое дирижирование". С 2010 года в консерватории функционирует Диссертационный совет. 

В консерватории обучается более 580 студентов и аспирантов, за последние 5 лет более 200 человек удостоены звания лауреата международных, всероссийских, межрегиональных конкурсов. При консерватории работают студенческий симфонический оркестр, хор, камерный оркестр, фольклорный коллектив, оркестр народных инструментов. Консерватория имеет соглашения в области учебных и научных программ с консерваториями Италии, Финляндии, Норвегии, США, Китая, Кореи и других стран. В настоящее время в консерватории обучается более 80 иностранных студентов. 

В 2011 году был завершен первый  этап реконструкции здания учебного корпуса консерватории и введен в эксплуатацию современный концертный зал на 405 мест, строительство которого было признано «лучшим проектом в области архитектуры и градостроительства 2012 года» по итогам конкурса «Город, устремленный в будущее». Известные музыканты, выступавшие в новом концертном зале, высоко оценили его достоинства и единодушно называют Большой зал Петрозаводской консерватории одним из лучших академических залов России. За это время состоялись концерты востребованных во всем мире исполнителей, лауреатов международных конкурсов Павла Милюкова (скрипка), Дмитрия Илларионова (гитара), Алексея Архиповского (балалайка), Александра Цыганкова (домра), Александра Лубянцева (фортепиано, лауреат Международного конкурса им. П.И. Чайковского, аспирант Петрозаводской консерватории – творческий руководитель проф. В.С.Портной), трио Даниила Крамера и звезды американского джаза Пуччи Аманды Джонс, Валерия Гроховского и одного из легендарных тромбонистов США Рона Уилкинса, выдающихся музыкантов из Шанхая Чжоу Цзиньхуа (тенор) и У И (фортепиано), состоялась премьера программы Саулюса Сондецкиса «Моцарт. Письма», в рамках Года Россия-Голландия 2013  при поддержке Министерства культуры РФ прошел концерт нидерландского камерного оркестраSinfonia Rotterdam. Концертный зал действительно является уникальной концертной площадкой в Петрозаводске, спроектированной и предназначенной специально для исполнения живой музыки: благодаря удачному архитектурному решению зал обладает превосходной акустикой, оснащен профессиональным световым и звуковым оборудованием, а также органом американской фирмы «Allen» и двумя концертными роялями фирмы «Steinway&Sons». В 2011 году у главного входа в концертный зал был установлен памятник выдающемуся русскому композитору А.К. Глазунову (авторы - скульпторы Л.К. Давидян, А.Р. Ким). В 2013 году авторский коллектив архитекторов и скульпторов был удостоен  премии "Сампо" за проект реконструкции здания учебного корпуса Петрозаводской государственной консерватории имени Глазунова с пристройкой концертного зала. Проект дальнейшей реконструкции здания Петрозаводской консерватории включен в федеральную целевую программу "Культура России (2013 - 2018 годы)" и планируется в 2015 - 2017 годах.