計算美學百篇論文大綜述:如何從復雜性科學視角進行審美


計算美學百篇論文大綜述:如何從復雜性科學視角進行審美


導語
對于藝術、美學的定量研究是跨學科研究的代表 。最近物理學家 Matja? Perc 在英國皇家學會 Interface 期刊發表了一篇綜述,梳理了近年來上百項利用網絡科學和物理學方法對烹飪、視覺、音樂、文學這四類藝術表現形式美的研究 。我們對這篇論文做了全文翻譯,希從復雜性科學的角度,和你一起探討對藝術的理解 。

美究竟是什么?是主觀體驗,還是客觀屬性?

這個問題在哲學和美學中曾經長期爭論不休 。

盡管古希臘柏拉圖在《大希庇阿斯篇》就曾討論過美,區分了“美的事物”和“美本身”,然而最終卻沒有給出滿意的答案,以“美是難的”結束了對話 。就如評論家常用“高貴的單純”與“靜穆的偉大”形容古希臘藝術,同時兼具沉靜與激情特性一樣,在美中我們確實能看到蘊含了許多矛盾的因素 。哲學家雷恩 (Michael Wreen)曾對此評價:

美表達了有限的、形式中可感知的東西,以及無限的、超越形式的東西,聯結著可測度的東西與不可測度的東西,聯結著人的世界與自然和神靈 。


計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

拉奧孔:動與靜完美的結合 。復原自古希臘的群雕“拉奧孔與兒子們”,兼具和諧與扭曲之美 , 作為古典雕像卻在千年后啟發了浪漫主義美學

從美學發展看,雖然美學創始人鮑姆嘉通將美學定義為“感性認識的學科”,然而他卻著重考察藝術,從此美學漸漸限定成藝術哲學 。后來的美學研究也往往注重審美主體的態度、價值與經驗,缺乏對客觀審美對象的研究和方法 。徘徊于主體領域,這就導致了自維特根斯坦起二十世紀發展的分析美學(Analytic Aesthetics)干脆認為對美定義是不可能的,美國藝術哲學家丹托(Arthur C. Danto)更是直言提出了著名“藝術終結論” 。

直到二十世紀其他學科和方法的發展 , 比如心理學、社會學、神經科學與計算科學引入,才為客觀研究美學、為復興古希臘美學觀念之一的“美在比例”提供了新的基?。?這其中最具代表性的就是神經美學(Neuroesthetics)與計算美學(Computational Aesthetics) 。

神經美學注重從審美知覺與理解方面研究審美主體,計算美學則集中研究審美對象的種種量化關系 。對后者 , 尤其是統計物理學和網絡科學近些年發展的方法,以及大數據的搜集探索,可以用來量化和更好地理解究竟是什么喚起了讓人們愉悅的對美的感受 。

最近發表的一篇論文綜述,詳細梳理了從統計物理和網絡科學研究對美學研究情況,是目前為止對計算美學最為詳盡的總結:
論文題目:
Beauty in artistic expressions through the eyes of networks and physics
論文地址:
https://royalsocietypublishing.org/doi/10.1098/rsif.2019.0686
該論文回顧了現有文獻,特別是對烹飪、視覺、音樂和文學藝術的研究,介紹了包括藝術繪畫的熵復雜性,飲食風味網絡的創造和食物配對的原理等一系列精彩的研究 。此外還探討了文化史和文化組學(culturomics),以及物理學和社會科學之間的聯系等 。

以下為論文全文翻譯:

目錄

一、從社會物理學到計算美學
二、烹飪藝術
三、視覺藝術
四、音樂藝術
五、文學藝術
六、總結與展望

一、從社會物理學到計算美學

在過去十年里,數據科學已經成為科研領域的新的熱點,這一被《哈佛商業評論》稱為“21世紀最性感的工作”,以數據維度的豐富性和每天海量數據的增長速度[1],利用數學、物理、計算機科學、信息科學,當然還有統計學的方法和技術,以及可視化技術的生動呈現,超越了各學科界限發揮協同作用,為社會科學和自然科學之間的架起一座橋梁 。

若從歷史發展看,自然科學,尤其物理科學和社會科學之間的協同作用已經存在了幾個世紀 。

早在十七世紀,托馬斯·霍布斯就把他的國家理論建立在運動定律的基礎上,特別是慣性定律;然后才由同時代的伽利略在物理上推導出來 。亞當·斯密在18世紀下半葉提出的“看不見的手”與現在著名的經濟與社會自我組織[18,19]概念驚人地相似,在當時被認為和萬有引力定律一樣可靠[20] 。

而在十九世紀,不斷發展的物理學理論將物質視為原子和分子的巨大集合,啟發了人們對社會的統計學,包括可預測的平均值的觀點 。法國政治經濟理論家亨利·德·圣西蒙(Henri de Saint-Simon)更是切實提出,社會可以用類似于物理學中的規律來描述 。正如氣體中分子的隨機運動產生了數學形式簡單的氣體定律一樣,人們認為社會也可以用類似集體可預測性的方式來描述 。因此,正如菲利普·鮑爾(Philip Ball)指出那樣[21],早期社會學就在根據一種隱含的信念來建構,即存在著一種“社會的物理學”,盡管至今大部分還在星空深處 。

直到如今擁有了大數據以及各種計算方法,人們才可能超越古典社會學諸多隱含假設,直接對人類集體行為進行研究,就像對物質粒子進行研究一樣[2] 。類似統計物理學的方法被大量應用到諸如交通[3]、犯罪[4]、流行病[5]、疫苗接種[6]、合作[7]、氣候怠惰[8],以及抗生素的過度使用[9]和道德行為[10]等課題中 。

總之,在統計學和計算物理學的進步、數據的可獲得性以及網絡科學[13-16]與計算社會科學[17]等相關研究領域的推動下,一種社會系統物理學,社會物理[11]或曰社會物理學(sociophysics)[12]——無論其名稱如何,在過去二十年里都保持了極好的增長勢頭 。

當然,對人類社會的中可測現象進行研究和數學化描述是一回事 , 對藝術來說,試圖做同樣的事情又是另一回事 。正如意識現象的神秘莫測一樣,藝術中,可能也有一些東西是科學理性永遠無法觸及的 。然而盡管如此,有些地方我們很可能永遠無法理解 , 但還是有許多研究者試圖彌合這一鴻溝 , 并成功地取得了讓科學和藝術都感到滿意的結果 。

這條研究路線中最具代表性的就是計算美學[22] , 其思想根源早在20世紀上半葉就已經誕生 。當時美國數學家 George D. Birkhoff 提出,秩序與復雜度之間的比值作可以作為一種美學度量[23] 。因此,計算美學的主要任務就是發展新的科學方法來量化美,并建立人類審美感知的模型[24] , 盡管此外它也影響著計算機生成式藝術(computer-generated art) 。

這里舉一個介于社會和藝術之間的研究案例:藝術引發的人類集體行為——重金屬音樂 。

Silverberg 等[25]研究了人類在重金屬音樂會上的集體運動,表明這種社交聚會會產生極端的行為,類似無序的氣體狀或有序的漩渦 。如圖1所示,這兩類呈現的所謂“迷霧坑”(mosh pit)和“圓坑”(circle pit)之間的差異可以在群體模擬中精準重現,從而證明即使是相對非常簡單的數學模型也能準確描述人類集體行為的本質 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖1.重金屬音樂會上的人群流動 。左邊圖為“迷霧坑”,類似于無序氣體狀態 。右邊為“圓坑”,近似于無序的漩渦狀態 ?;煦缈雍蛨A坑都可以在群體模擬中重現(下行),表明人類集體行為與數學模型的預測是一致的 。關于數學模型的細節和底部行中的插圖解釋,請參考原始文獻[25] 。

在接下來的研究綜述中,我們回顧了專門針對烹飪藝術、視覺藝術、音樂藝術以及文學藝術的研究 。在適當章節還探討了文化史[26,27]和文化組學[28],并描述了物理學與社會科學之間的聯系 。最后 , 我們對研究回顧進行了總結,并對未來的研究進行了展望 。

二、烹飪藝術

烹飪是否是一門藝術還有些爭議 ?;蛟S在麥當勞拼裝一個漢堡包,更多的是自動化流程,但為自己家人親手打造一道美味佳肴可以說是一門藝術,(譯者注:正如“西廚之王”奧古斯特·埃科菲(Georges Auguste Escoffier)以一己之力將烹飪提升到了藝術的境界一樣) 。

不過顯然,烹飪即使作為藝術,也主要與食材準備與烹飪過程有關,和物理、網絡又有什么關系?

大約八年前 , Ahn 等人[29]發表了一篇論文,引入了風味網絡來揭示食物搭配的基本原理,結果如圖2所示 。他們從諸如 cookpad.com 和 foodpairing.com 等美食網站獲得大量食物搭配信息,以數據驅動方法為系統理解烹飪藝術開辟了新道路 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖2. 美食風味網絡 。每個節點代表一種食材 , 顏色代表所歸屬食物種類 。節點大小反映了一種食材在菜譜中的普遍性 。如果兩種配料有顯著數量風味的化合物共享,則表示它們之間有關聯,鏈接的粗細代表兩種配料之間共享化合物的數量 。為了防止網絡過于密集,只有在p值為0.04的情況下,統計學上有顯著性的鏈接才會被標示出來 。進一步的細節請參考原文獻[29] 。

這些研究表明,北美和西歐的菜譜有一個顯著的統計趨勢,即在配方上會共享相同風味的化合物成分 。相比之下,東亞和南歐的共享成分則要少得多 。反之亦然 , 兩種食材共享的成分越多,它們出現在北美食譜中的可能性就越大,而在東亞菜肴中出現的可能性就越小 。

在探索這些差異機制時,Ahn等人[29]發現,美食風味搭配效應的產生是由于在某一特定菜肴中經常使用的幾種成分造成的 。例如,北美的牛奶、黃油、可可、香草、奶油和雞蛋,東亞的牛肉、姜、豬肉、辣椒、雞肉和洋蔥 。這些發現與眾所周知的“風味原理”[30]相呼應,根據這一原則,地方菜只有少數幾種關鍵配料,比如亞洲的醬油或匈牙利的辣椒與洋蔥 。

在風味網絡研究之前 , Kinouchi 等人[31]就已經通過取自巴西的 Dona Benta、英國的 New Penguin Cookery Book《新企鵝烹飪書》、法國的 Larousse Gastronomique 和中世紀的 Pleyn Delit 等書對食材和食譜進行了統計 。他們觀察到食材的普遍分布具有尺度不變量行為,這促使人們建立了一個類似于網絡中增長和偏好依附的數學模型[32],簡而言之即所謂馬太效應[33] 。烹飪進化的復制-突變模型(copy-mutate model)[31]也被證明很好地擬合了經驗數據 。作者們還認為,這個模型表明了一種進化動力學控制著幾個世紀以來食譜的進化 , 在這種進化中,一些特異性成分以類似于生物學中的奠基者效應的方式被保存了下來[34] 。

近年來,隨著烹飪藝術研究的不斷深入 , 人們開始運用網絡科學、物理學等相關學科的方法對烹飪藝術進行研究 。例如,Teng 等人[35]展示了如何改進基于成分網絡的食譜推薦 。他們的研究表明,食譜評級可以很好地預測成分網絡和營養信息的特點 。

食物橋接假說(food-bridging hypothesis)被提出:假設兩種成分沒有共享一種很強的分子或具有經驗親和力 , 他們可能通過一系列成對的親緣鏈聯姻[36] 。這與食物搭配假說(food-pairing hypothesis)[29]一道,可以區分出四類不同烹飪:東亞菜系傾向于避免食物搭配和食物橋接,拉美菜系傾向于包括食物搭配和食物橋接 , 東南亞菜系傾向于避免食物搭配但包括食物橋接,西方烹飪傾向于包括食物搭配但避免食物橋接[36] 。

除此之外,這方面還有一些較小規模的研究工作 。例如 , 關注阿拉伯美食,研究它是否符合食物搭配假說[37] 。對中世紀歐洲美食[38]研究也涉及了風味配對,包括歷史風味演變 。作者特別關注數據不完全和錯誤的作用,為此使用了兩個不同清潔度的獨立化合物數據集,表明它們給出了與中世紀歐洲風味配對假說相矛盾的結論 。

當許多新的配料突然出現時 , 對烹飪藝術的發展可能會出現一些預測,這些推論也被提出來討論 。例如中國地方菜系地理位置與氣候相似性的關系,研究表明 , 決定中國地方菜肴相似性的關鍵因素是地理上的接近,而不是氣候上的相似 。

根據 Kinouchi 等人[31]烹飪進化的復制-突變模型,類似的模型也被專門用于研究不同的印度菜肴[40] 。作者們認為,除了已確定的各地區之間的異同之外 , 在風味的化合物水平上對這些模型進行比較,可能會開辟一條通往分子水平研究的道路,將特定成分與糖尿病等非傳染性疾病聯系起來 。

除了對地理和時代的興趣之外,烹飪藝術和更硬的科學結合,也產生了類似《告訴我你吃什么,就知道你從哪里來:基于一種網絡全球食譜的數據科學方法》(Tell me what you eat, and I will tell you where you come from: A data science approach for global recipe data on the web)這樣的研究 。正如標題所示,它催生了食物計算[42],從不同來源獲取和分析各種食物數據,用于食物的感知、識別、檢索、推薦和監測 。這些計算方法,可以應用于解決食品相關的問題,在醫學,生物學,美食學和農學等領域 。

基于一個大型在線食譜平臺的服務器日志數據,研究者還探索了網絡上的食物偏好[43] 。研究表明,食譜偏好在一定程度上是由食材驅動的,食譜偏好分布比食材偏好分布表現出了更多的地區差異,工作日的偏好與周末的偏好也明顯不同 。根據類似思路 , 研究人員還通過推特(twitter)[44]以及網絡日志使用情況研究了網民的食物消費和飲食模式,得出了“你吃什么就推什么”(you tweet what you eat)的結論[45] 。

最后我們以一本當代書籍《人人都吃》( Everyone Eats)[45]來結束這一部分探討 。該書探討了我們為什么吃我們所吃的,為什么有些人喜歡香料、糖果和咖啡,為什么大米會成為東亞很多地方的主食 。這本書聚焦于我們選擇食物的社會和文化原因,可能是超越物理和網絡、進一步探索飲食這個迷人主題的好幫手 。

三、視覺藝術


自然界常見的模式通常是美麗而迷人的[47],模式形成的研究也廣泛在物理學、化學和生物學中展開著,其中包括有序和無序結構如何進行量化[48–54] 。事實上 , 自從人工智能之父艾倫·圖靈對形態發生的化學基礎進行開創性的研究以來,這個課題就一直在科學上活躍著并廣泛受到關注[55] 。因此豪不奇怪,物理學中用來量化研究模式的許多方法都可以用來研究藝術,有的甚至幾乎不需任何修改 。

只不過一直以來,研究者面臨的瓶頸是如何將視覺藝術轉化為高質量的數字形式,尤其是對大量的美術作品 。但自從有了 wikiart.org,這一問題得到了完美的解決 , 它為使用物理方法大規模分析藝術的鋪平了道路 。

熵-復雜性:藝術歷史與藝術風格之樹

基于大量數字影像數據,Sigaki 等人[56]通過熵和復雜性視角研究了藝術繪畫的歷史 。包括近14萬幅跨越近一千年藝術史的畫作被納入研究 。結果很有趣 , “復雜性-熵”平面(complexity-entropy plane)能很好反映了藝術史中的傳統概念,如 W?lfflin 對美術線繪與涂繪的雙重概念,Riegl 對有關觸覺與光學的二分法[57,58]等 。

線繪藝術作品(linear artworks)由清晰和分明的形狀組成 , 而涂繪藝術品(painterly artworks)則通過融合圖像邊緣傳遞流動性的理念,輪廓往往模糊不清 。類似地,觸覺藝術品(haptic artworks)將物體描繪成有形的離散實體,被區分和限制,而光學藝術品(optic artworks)則通過利用光、色和陰影效果等創造開放空間中連續體,將物體描繪成在深層空間中相互關聯的整體 。

對以上特性與復雜性和熵聯系起來,可以看出,線繪/觸覺藝術作品可以描述為小的熵值H和較大的復雜性值C , 而涂繪/光學藝術作品則預期會產生較大的熵值和較小的復雜性值 。

通過日期對圖像進行分組后取H和C的平均值,Sigaki 等人[56]做了量化藝術品在歷史上的演變的研究 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖3:量化藝術品在藝術史中的演變 。描述了對應于給定時段內熵H和統計復雜度C的平均值隨時間的演變 。誤差條代表均值的標準誤差 。突出標示的區域表示不同的藝術時期(黑色:文藝復興時期、新古典主義和浪漫主義;紅色:現代藝術;綠色:當代/后現代藝術) ??梢钥吹?,復雜性-熵平面正確地區分了不同藝術時期和過渡階段[56] 。

圖3結果顯示,在9世紀和17世紀之間創作的藝術品,平均來說比在19世紀和20世紀中期創作的藝術品更具有秩序 。但有趣的是,在1950年后產生的藝術品,卻比前兩個時期的藝術品更規則有序 。進一步可以觀察到 , 在19世紀后,復雜性-熵平面的變化急劇加速,而這一時期恰恰與新古典主義和印象主義等幾種藝術風格的出現時間相吻合 。此外如圖3所示,三個畫出的區域與藝術史上三個主要分期也很好對應上了 。

進一步地,復雜性和熵也可以以H-C平面來區分不同藝術風格[56] 。由于H和C的值反映了藝術風格之間在圖像像素局部排序方面的相似度 , 因此可以檢測風格之間可能的層次組織關系 。即H-C平面上的一組藝術風格之間的歐幾里得距離可以當成它們之間相似的度量:兩種藝術風格之間的距離越近,它們之間的相似性越顯著,反之亦然 。

對這個過程計算所得的結果如圖4所示,可以理解為藝術之樹,就像達爾文在《物種起源》對生物演化著名的生命之樹比喻一樣 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖4:藝術之樹(藝術風格的組織層級) 。以最小方差法計算矩陣距離,通過在距離閾值0.03處切割,獲得由彩色樹枝表示的14組風格的樹形圖 。該數值最大化了定義數據集中聚類數量的輪廓系數(silhouette coefficient) 。進一步的細節參考原始研究[56] 。

藝術家風格轉變

當然,Sigaki 等人[56]的研究并不是最早的 。早在四年前,為了在藝術和科學之間架起一座橋梁,Kim [59]等就已經對繪畫藝術進行了大規模的定量分析 。他們重點關注單個色彩的使用、色彩的多樣性和亮度的粗糙化情況 。結果顯示,古典繪畫與攝影作品在色彩使用上存在差異,中世紀時期色彩使用種類則明顯較少 。在繪畫技法如明暗法(chiaroscuro)和模糊法(sfumato)中,亮度粗糙化指數也有所增加,這與當時的歷史情況是一致的 。

這個小組后來還研究了現代繪畫中的色彩距離的異質性,正確指出總體統計數據不能很好地衡量畫家的個性 , 因為差異可能不僅來自不同的畫家,還可能來自同一個畫家使用不同的風格 。

圖5顯示了對這方面[60]的深入分析 , 詳細描述了幾名具有代表性畫家,囊括了幾種截然不同但互補的藝術風格,即相對于時代主流他們的藝術生涯獨特性的演變 。這項研究為定義當代創造個性和多樣性的非凡演進提供了寶貴的見解 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖5:對個別畫家深入分析 。(a,b)蒙德里安和雷諾阿繪畫生涯的成長點線,紅色虛線表示最佳線性擬合(c) 線性擬合1326個藝術家在至少五年不同繪畫創作情況的直方圖,一些著名的藝術家被標出 (d,e)蒙德里安和雷諾阿繪畫代表樣本,展示了兩位藝術家不同時期的風格轉變(f)七位作品風格獨特的藝術家(g)采樣40幅以上330位藝術家繪畫作品獨特性的直方圖 。更多細節參考原始研究 [60] 。

審美度量相關研究

在對視覺藝術進行量化研究之前,就已經產生了相關思想 。如前面所提到,早在1933年,美國數學家 George D. Birkhoff 就出版了他的《美學度量》(Aesthetic Measure)一書[23] , 這本書催生了計算美學[22] 。在這本書中,他提出利用圖像中發現的秩序數與圖像元素總數之比,即秩序 O 和復雜度 C 對則一個事物進行審美度量,審美值 M= O/C 。

只是這個思想第一次應用時已到了在21世紀之初 。Taylor [61]等人的研究表明,波洛克的繪畫作品在其藝術生涯中的特點是分形維度越來越大 。這隨后啟發了分形分析法在繪畫中的應用[62-66]、藝術家演變 [67,68]、繪畫[69]和藝術家[70-72]的統計屬性、藝術運動[73]以及其他視覺表現形式[74-76]等方面的研究 。

值得一提的是,分形藝術本身就是一個很吸引人的主題[77 ] 。它在伊斯蘭文化中很常見,例如土耳其塞利米耶(Selimiye Mosque)清真寺的主圓頂上,以及遍及世界各地的印度教寺廟中都有分形藝術 。

此外最近還有一些創新的研究,主要是通過分析大規模的數據集 , 估算繪畫和其他視覺藝術表現形式的平均亮度和飽和度[78,79] 。

其他視覺藝術

除了繪畫藝術之外,其他的視覺藝術還包括雕塑、陶瓷、攝影、攝像、錄像、電影制作、設計、工藝品和建筑等 。

值得注意的是,電影制作一直以來都是以演員網絡為研究對象——如果兩個演員一起出現在一部電影中,他們就會聯系在一起 。

在這個方向上最近的一次嘗試是對《星際之門》和《星際迷航》系列電視劇中人物互動的社會網絡分析 。研究表明,這兩部劇集的人物關系網都具有小世界特性,而且一集的基本網絡結構可以告訴我們該集故事情節的復雜性 。研究發現,劇集網絡要么是封閉的網絡,要么是有瓶頸(bottlenecks)的網絡——這些瓶頸將互不相連的集群連接起來,又或者是二者的混合體 。通過更詳細的閱讀,這二者也可以連接到相應的故事情節 。不過除此之外其他形式的視覺藝術尚未與物理學和網絡科學聯系起來 。

四、音樂藝術


在所有藝術中,將音樂與科學聯系在一起研究是最具有歷史傳統的 。因此這里只關注一些相對較新的研究工作,主要是與物理學和網絡科學兩個學科之間的建立橋梁 。

音樂家網絡

首先是 Park 等人[81]的研究,他們研究了西方古典音樂作曲家網絡的拓撲和演化,基于 arkivmusic.com 和allmusic.com 的數據,建立了一個以 CD 和作曲家為兩類節點的二分網絡 。具體來說,當一個作曲家的作品被記錄在CD上、或兩個作曲家在某CD上有共同出演的作品,作曲家和 CD、作曲家之間就會被連線 。

在此基礎上 , Park 等[81]報告了大量的結果 。包括網絡表現出了許多現實世界網絡的共同特征,如小世界屬性、存在巨分量(giant component)、高聚集性和冪律度分布等 。

他們還通過中心性、近似節點配對和群落結構探索了全球作曲家的關聯模式,結果表明音樂家網絡和人們對西方音樂傳統的音樂理解之間存在著有趣的相互作用 。此外 , 對“CD-作曲家”的二分網絡歷時增長研究發現,超線性偏好依附(superlinear preferential attachment)是解釋增加頂層節點周圍的邊緣集中度和冪律度分布一個強力候選因素 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖6. 作曲家群落結構網絡 。在五個最大的群落中,占6.2%的作曲家,覆蓋了60.1%的度 。這些群落與古典音樂史上的既定時期劃分非常吻合 。右邊是各群落所代表的時期的顏色和規模的比例 。詳見原文獻[81] 。

有關群落結構的結果如圖6所示:六大可見的群落 , 占878個已知時代節點的99% 。有趣的是,這些群落大致對應了不同的音樂時期:如文藝復興時期和巴洛克早期(1A)、巴洛克晚期和古典時期(1B)、浪漫主義時期(2)和現代時期(其余三個群落) 。研究還列出了每個群落中的著名作曲家,充分展示出了網絡科學在探索藝術方面的洞察力 。

音樂流派自動分類

最近發展一個比較經典的研究是 Corrêa等人[82]做出的,以網絡為基礎,主要受物理學啟發的方法 。作者通過從復雜網絡的表示中探索基于節奏的特征,探討了音樂流派自動分類的問題 。

具體來說,提出了一個馬爾科夫模型來分析記譜節奏事件的時間序列,并利用主成分分析(principal components analysis)和線性判別分析法(linear discriminant analysis)進行特征分析 。前者是一種無監督多元統計方法,而后者是一種有監督的方法 。兩種不同的分類器,即高斯假設下的參數貝葉斯(parametric Bayesian)和凝聚層次聚類(agglomerative hierarchical clustering)被同時用來識別節律類別 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖7. 四個音樂樣本的有向圖示例 。(a) B. B. King 的《How Blue Can You Get》(b) Tom Jobim 的 Fotografia (c) Bob Marley 的 This Love (d) The Beatles 的 From Me to You 。自研究[82] 。

圖7顯示了如何創建用于分析的有向圖 。可以觀察到,只有音符的持續時間與它們在樣本中出現的順序有關,因此被用來創建有向圖 。

有向圖的每個頂點表示一個可能的節奏符號,例如四分音符、半音符、八分音符等等 。而邊緣則反映了后續的音符對 。例如,如果有一條邊從頂點 i(以四分音符表示)到頂點 j(以八分音符表示),這意味著四分音符之后至少有一次八分音符 。此外,邊越粗,這兩個節點之間的聯系就越強 。

基于這種方法,Corrêa 等人[82]的研究表明,音樂節奏具有驚人的復雜性 , 并且包含許多冗余,需要許多特征來區分它們 。事實上 , 正是因為特征太多 , 無法在此全面回顧 。研究還發現,通過允許多流派分類,可以實現流派分類法的泛化,新的子流派會自發地從原來的流派中派生出來 。雖然這項研究只關注節奏分析,但作者指出,對節奏進行更深入的分析,依然能提高此方法的有效性 。

最近,部分同一組作者通過使用遞歸量化分析,研究了巴洛克作曲家約翰·塞巴斯蒂安·巴赫的十首作品是否源自馬爾科夫鏈[83] 。毫不奇怪,研究發現,”巴赫的大腦是馬爾科夫鏈“這一相當難以置信的假設,在足夠精細的代數分析下,可以被一致拒絕 。

除了上面提到的例子展示了如何通過網絡和物理學的手段研究音樂藝術的不同方面之外,類似的研究還包括:
  • 應用復雜性-熵因果關系平面來區分歌曲[84]
  • 識別歌曲和音樂流派的聲音振幅中的普遍模式[85]
  • 通過網絡中的群落相關性提取音樂節奏模式[86]
  • 對人群聚集聲景(soundscape)的動力學量化[87]

此外,還有音樂理論方面的基礎性工作,例如關于和弦的幾何學[88],希望這種跨學科的研究能夠為更好地理解音樂及其跨體裁、跨地域和跨時間的流行做出貢獻[89] 。

五、文學藝術


對藝術數字化影響最大的可能還是文學藝術 。

以前只存在于紙上的東西變成了比特和字節 。像 books.google.com/ngrams (谷歌n-gram瀏覽器)和 gutenberg.org 古騰堡計劃這樣的網站,以及像推特和臉書這樣的社交網站,極大地促進了對大規模書面文本的定量調查研究[90-101] 。然而,對這方面的研究的主要內容是統計特性,或者是尋找模因,文本中異同,而非藝術特性方面的研究 。

其中一項引入矚目的關注內容本身的研究成果是由 Reagan 等人[102]做出的:他們研究了從古騰堡項目小說集中篩選的1327個故事作為子集的情感弧線(emotional arcs) 。作者使用了三種主要方法進行分析:奇異值分解(singular value decomposition) , 一種標準的線性代數技術;以 Ward 的方法產生故事的分層聚類 , 該方法最小化書本的聚類之間的方差[103];以及自組織映射[104] , 一種無監督的機器學習方法來聚類情感弧線 。情感弧線是通過使用 hedonom.org 和 labMT 數據集[105,106]分析滑動10000字窗口的情緒而構建的 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖8:《哈利·波特》的情感弧線 。Reagan 等人[102]的分析抓住了故事的主要高潮和低谷 。為生成這樣的情感弧線 , 作者以10000字窗口滑動文本 , 然后使用 hedonometer.org 與 labMT 數據集[105,106]對每個窗口的情感傾向進行評估 。此外 hedonometer.org 網站還提供了許多其他書籍、故事、電影劇本以及Twitter的交互可視化情感弧線 。自原文[102] 。

J.K.羅琳的《哈利·波特與死亡圣器》的結果如圖8所示 。故事的高潮和低谷都可以清楚推斷出來 。正如作者在論文中指出的那樣 , 整個七部曲系列都可以歸為“殺死怪獸”[107]類情節  , 只不過眾多子情節相互聯系又使得每一本書的情感弧線變得更加復雜化 。這種方法的缺點是不會抓住那些簡單的情感瞬間,如一個單獨的段落或某一個句子 。

至于圖8中結果是否與讀者的閱讀體驗相符,取決于多種因素 。對于擁有全部哈利·波特書籍和DVD的筆者一家來說,它似乎確實非常適合,我十幾歲的女兒 Ela 和她的朋友們都同意,最幸福的結局應該是"從此永遠幸福",而不是 "哈利在韋斯利家" 。當然 , 但這是來自于一個群體的說法,其他人可能有不同的感受,完全不贊同圖8所示的分析 。

在更大范圍內,Reagan 等人[102]的研究主要發現是 , 所有故事的情感弧都不超過六種基本模式:“飛黃騰達”(上升)、"悲劇 "或 "家道中落"(下降)、"人在洞穴"(下降—上升)、"伊卡洛斯"(上升—下降)、"灰姑娘"(上升—下降—上升)、"俄狄浦斯"(下降—下降—下降) 。

強調這點很重要,即這相同六種情感弧是從所有可能弧線中獲得的 , 是前面提到三種獨立方法的共同結果 , 每種都發揮了各自獨特的作用:奇異值分解找到所有情感弧的基礎 , 聚類將情感弧分類成不同的組,自組織映射則使用隨機過程從噪聲中產生與語料庫中情緒相似的弧 。因此,這一結果切實可靠,有充分的證據支持 。

在更小范圍內,Markovi? 等人[108]最近研究了斯洛文尼亞語文本 belles-lettres 中的結構和復雜性 , 重點是不同年齡組對文本評價的差異 。

研究發現 , 單詞的句法連接形成了復雜的異質網絡,其特點是信息能夠進行有效傳遞 。研究還表明,隨著讀者推薦年齡的增加,文本的長度、平均單詞長度、不同短語組合、文學人物之間的社交復雜性都會增加 。反之,獨特詞匯的各種分量則表現為減少 。

計算美學百篇論文大綜述:如何從復雜性科學視角進行審美

圖9:斯洛文尼亞語文本在不同年齡組的語言網絡 。(a)為1-5歲的兒童(b)為6-8歲的兒童(c)為9-11歲的兒童(d)12-14歲的兒童 。盡管網絡規模和復雜性存在明顯差異,可以明顯看到網絡的度都呈現冪律分布 。此外,平均度和平均聚類系數隨著讀者推薦年齡增加,模塊化程度下降;平均最短路徑長度隨年齡的增加而減少,盡管網絡規模的增加又會引起小世界屬性[109] 。然而盡管有以上變化 , 所有網絡直徑幾乎都是相同的 。這些網絡屬性的詳細數據請參考原始工作[108] 。

在語言網絡方面,如圖9所示,Markovi? 等人[108]發現 , 盡管網絡規模有明顯的差異,但在四個年齡組中,度分布都呈現冪律特征 , 并且冪律指數相似 。顯然,不同年齡組句法模式的一些屬性并沒有太大的差異,盡管所研究相對較小的規模的網絡不允許更精確的比較 。

其中語言網絡的無標度特性在以前其他研究[110]中已有所報道 。至于其它網絡屬性,研究顯示平均度和平均聚類系數隨著讀者推薦年齡而增加 。這一結果與獨特詞匯密度的遞減趨勢相一致 。也就是說,對于較高的年齡組,在較長的文本中使用較少的獨特詞匯,因此需要更多的單詞組合,這反過來也導致單個單詞之間更多的聯系以及更高水平的從屬關系 。

出于同樣的原因,網絡也會隨著讀者的推薦年齡的增加而變得不那么模塊化 。由于連接數量的增加,平均最短路徑長度隨著推薦年齡的增加而逐漸減少,盡管網絡規模會大幅度增加 。

這反過來又導致了所提取的語法網絡的小世界拓撲特征 。有趣的是,盡管平均連通性、平均最短路徑長度和網絡大小都發生了變化 , 但網絡直徑(diameter)在不同年齡組中基本保持不變 。

總體而言 , 網絡科學使得對斯洛文尼亞文學進行深入理論探索成為可能 , 能清楚看到不同年齡組之間統計特性的明顯區別,從而以一種互惠互利的方式將藝術和精確科學聯系起來 。

最近 Ferraz de Arruda 等人[111]在進一步推進這一主題研究時,指出雖然建立起的詞匯鄰接(word-adjacency)或共現網絡(co-occurrence) 成功地把握了書面文本的句法特征,但無法捕捉到主題結構 。為了解決這個問題,他們提出了一個網絡模型 , 以相鄰的段落作為節點 , 每當它們共享最小語義內容時就連接起來 。以劉易斯·卡羅爾的《愛麗絲夢游仙境記》為例 , 研究表明這種方法可以揭示文本的許多語義特征,否則這些特征是將被隱藏起來的 。

從“只是單詞”和短語轉向不同程度的介觀結構,如句子、段落或篇章,可能是使文學藝術更切合網絡科學和物理學方法的下一步 。

六、總結與展望


我們回顧了最近的研究,旨在彌合不同藝術表現形式與網絡科學和物理學之間的差距 。雖然其中所涉及的大多數作品都不是關于美本身的 。但回過頭來看,它確實能讓我們通過量化和理解,當我們受到某種藝術形式影響時,有什么東西讓我們覺得是吸引人、或者說是美的 。

如果是喜歡的食物,我們現在可以欣賞到哪些食物搭配能讓我們多吃一口,哪些搭配讓我們重新回到餐館 ??傮w來說 , 東亞美食就像果醬,菜單上既不應該有食物配菜,也不應橋接,而東南亞美食吸引了那些不喜歡搭配但是喜歡橋接食物的人 。西方美食則幾乎完全是食物搭配而沒有橋接,拉丁美洲食物則適合那些既喜歡食物搭配又喜歡食物橋接的人 。
【計算美學百篇論文大綜述:如何從復雜性科學視角進行審美】
當我們看到一幅我們覺得美的畫作時,就可以把這種美與熵和復雜性聯系起來 。如果我們喜歡有序、重復的圖案,那就是低熵、高復雜度;此外一切 "繪畫性"的東西都是高熵、低復雜度 。這兩個物理量可以很好地與藝術史上的傳統概念聯系起來 。

由不同輪廓形成的圖像會產生重復有序模式的 。因此線繪/觸覺藝術作品可以用小熵值和大復雜度值來描述;另一方面,由模糊邊緣界定相互關聯部分組成的圖像會產生更多的隨機圖案,相應的涂繪/光學藝術品會預期產生更大的熵值和更小的復雜度值 。

更進一步說,W?lfflin 的線繪與涂繪性的雙重概念 , 和 Riegl 的觸覺與光學的二分法,實際上可能限制了所有尺度界限的表現形式,因此熵值和復雜度值連續體的概念可能有助于藝術史學家在更精細尺度上進行評判 。

當我們重復聽一首歌時,從物理學和網絡科學層面的研究可以幫助我們弄清楚超出經典音樂理論范疇的一些屬性 。

從網絡的角度來看 , 基于節奏的特征,不同作曲家和流派的社區,以及復雜-熵因果關系平面,都可以幫助我們準確定位出特定歌曲中我們覺得美好的東西,改善個性化的音樂推薦,同時也可以提高我們對周圍的人在特定音樂中的吸引力的理解 。這些方法也可以用來嘗試和預測幾個著名藝術家的未來,并解讀音樂網絡的發展動態 。即使不從傳統音樂理論如幾何和弦或類似的概念中抽取任何東西 , 網絡和物理學研究也可以起到非常大的作用 。

最后,當讀到一個真正能打動我們的故事時,我們可以看看它的情感弧線是像“灰姑娘”一樣的“升-降-升”,還是僅僅如“伊卡洛斯”那樣的“升-降” 。我們也可以了解自己是否喜歡那些來去無蹤謎樣的角色,還是更喜歡兩三個主要人物來推動故事的發展 。

從網絡科學視角也能讓我們看到故事的模塊性,故事某些部分是否脫離了其他部分,以及它們又在什么時候結合在一起 。在這里,介觀文本結構的概念,如句子、段落或章節,可能成為定量語言學的新的前沿 , 不僅在統計方面,而在內容、故事性和情感弧方面 。

從更廣闊的角度來看,推動藝術發展的人、知識、工藝和技術,與我們的文化歷史有關 。在這方面,近年來網絡科學和物理學的方法也發揮了重要作用,推動了相關學科主題研究[26-28] 。

Michel 等人[28]的提倡的文化組學(culturomics),即那篇名為《利用數百萬本數字化書籍對文化進行定量分析》(Quantitative Analysis of Culture Using Millions of Digitized Book)的論文,甚至過于樂觀地估計 , 我們能對文化進行全面定量分析,以確切地理解到我們的文化 。雖然隨后的網絡評論和研究很快就指出了這種基于數據推斷社會文化和語言演化方法的局限性[112] 。這意味著很多研究工作,例如[113,114],很可能是過早跳上了文化組學的浪潮[115] 。不過這也往往是一個快速發展的領域本身的性質 。最初過度熱情和積極性被后來更慎重和謹慎的方法所抑制后,才開始最終成熟階段,隨之而來的是不可避免的衰退 。

盡管如此,這條研究進路的受歡迎程度,以及通過計算美學[22] 與人工智能的聯系,近年來一直在穩步增長 。額外涉及的科學成果[116-118] 可參見 matjazperc.com/aps ,以及相應同行評審[119],以補充我們在導言中已提到的社會許多其他方面的研究 , 包括這里所回顧的藝術 。

我們希望這篇綜述對那些本職不同但又對互補研究領域著迷的研究者,特別是對那些尋求藝術和定量科學之間相互促進的研究者來說 , 能提供有益的信息和幫助 。



相關經驗推薦