Флагман флагману рознь. Многое в культурном развитии определяется сиюминутными обстоятельствами или конкретными событиями.
Во-первых, с чем сравнивать Ближний Восток. Если с современным ему Китаем, то последний был сильно впереди. Эпоха династии Тан - признанный золотой век в Китае. Более подробно можете посмотреть здесь youtube.com По сравнению с Европой, конечно, Ближний Восток был в чём-то более продвинут. Университетов, разумеется, в современном смысле не было - были разные школы, чем-то похожие на античные. Но не стоит забывать, что и в Европе этот период неоднороден. Скажем, есть знаменитый феномен "каролингского возрождения" (wikipedia.org), а позже - "оттоновского возрождения" (wikipedia.org). В VII-VIII вв. на Британских островах монастырская культура также создавала шедевры, посмотрите одно Линдисфарнское евангелие wikipedia.org или Келлскую книгу wikipedia.org Так что и в Европе не всегда и везде царил мрак.
Во-вторых, есть субъективные факторы. Например, это потребность в точных астрономических наблюдениях в связи с использованием лунного календаря. А такая дисциплина, как алхимия, часто работала случайно, когда в поисках философского камня открывали "сторонние" эффекты (таким образом, скажем, в Китае изобрели порох). Что касается искусства, то стоит помнить, что оно в то время находится под влиянием религии, а ислам запрещает изображать людей (как это делается в иконописи). Поэтому на арабском Востоке были очень развиты разные геометрические орнаменты, которые, будем откровенны, при базовых, но правильно применяемых знаниях математики не такие уж сложные, зато эффектные. Более подробно тут youtube.com Кроме того, стоит учитывать, что мы судим о культуре периода и его развитости по верхушке айсберга - в основном по дошедшим до нас памятникам высокого искусства и науки. Массы населения могли быть очень тёмными.
В-третьих, есть и объективные факторы. На Ближнем Востоке кризис эпохи Великого Переселения Народов был не настолько глубоким и разрушительным. Конечно, иногда и саму экспансию арабов рассматривают в качестве её элемента, но они действовали иначе, чем, скажем, гунны или германцы. Арабы были на удивление терпимы и мудры, чтобы не уничтожать захваченного, а разумно его использовать. К тому же механика этого завоевания была очень своеобразной. На одной из своих лекций А. Зубов объяснял, что к середине VII в. на многих землях Восточной Римской Империи власть себя настолько скомпрометировала, что население легко встречало арабов и шло с ними на сотрудничество. Далее, Ближний Восток - Сирия, Египет, Палестина, Месопотамия, Персия - более урбанизованный регион, чем Западная Европа того времени, где многие города были сравнительно молодыми, меньшими по размеру и зачастую брошенными или пришедшими в запустение в V-VII вв. в связи с общим экономическим упадком. В Ирландии или Скандинавии городов вообще строго говоря не было. На этом фоне сохранение и использование достижений древних культур на Ближнем Востоке выглядит, конечно, как расцвет. Наконец, после арабского завоевания VII в. в регионе царил более или менее устойчивый (по сравнению с Европой) мир. Халифат долгое время был централизованным государством, хотя, как оказалось, не слишком прочным.
Сказать, "что пошло не так", однозначно сложно, но в первую голову, конечно, это милитаризация Ближнего Востока, когда сюда пришли европейцы во время Крестовых Походов, но гораздо страшнее оказались монголы в XIII в. А в XIV в. по этим землям прошёлся ещё и Тамерлан. Ещё раньше, до Крестовых Походов, началась экспансия турков-сельджуков, которые, в отличие от арабов, были гораздо менее просвещёнными завоевателями, если не сказать дикими. В Европе в то же время война становилась всё более локальной. К периоду Высокого Средневековья также относится "коммунальная революция", когда города освобождались от сеньориальной власти, чего не произошло на Востоке.
Мне кажется, представление о "расцвете Ближнего Востока" в ранее средневековье связано с "общим знанием" об упадке в Европе в "Тёмные века", сформированным в XV в. деятелями Возрождения. Когда на этом фоне открывается исламская культура (не забывайте о европоцентризме до середины XX в.!), конечно, она выглядит жемчужиной. Если обобщить, то правильнее было бы говорить о том, что Восток ничем не уступал Западу, в чём-то обгонял и внёс такой же огромный вклад в сохранение античной цивилизации.
На смену Багдадскому халифату пришла Османская империя. Разница между ними была примерно как между Др. Грецией и Др. Римом. В халифате и Греции поклонялись науке, исскуству и торговле, в империях - власти и завоеваниям.
Советский Союз во второй половине ХХ века был флагманом науки и производства: промышленность, космонавтика, электроника, качественное образование, но что пошло не так? (простите)
Наивно и примитивно
Все дело в Татаро- монголах. Из-за них и мы, и Китай, и большая часть азиатов откатилась на много веков назад. Мы, например, так и не можем догнать европейцев по развитию, хотя и обгоняли их поначалу.