Issue 154｜在AI的邊界，走進創作的荒野／AI生成答案，我們做出選擇：廣達電腦技術長 張嘉淵╳作曲家 張玹

現在我們的工作不只是「How to create（如何創造）」，而是「What to create（創造什麼）」，「How to select（如何挑選）」，先要AI大量快速生成，再選擇優化。——張嘉淵

AI 的出現讓我們反思：為什麼要創作？我們可以是誰？AI不該只是用來取代藝術家，而是應該去賦權所有人，誕生全新的流派。——張玹

AI技術發展愈快，生成變得更容易，但被重新推到眼前的，反而是人。什麼是美，什麼是創作，什麼又只是看似無限的複製與延伸？這場對談從科技藝術談起，也一路走到音樂、感受、判斷與自由。工具愈來愈強，有些問題卻沒有變簡單：怎麼選，怎麼感受，怎麼在邊界之內，繼續創作。

胡士恩（下稱胡）：隨著AI技術快速發展，Ted 怎麼看「科技藝術」當前的狀態？

張嘉淵（下稱Ted）：這一波AI是從影像與辨識開始發展的。從影像藝術的角度來看，初期的創作多半發生在媒體藝術或數位媒體領域，大概從李飛飛那個時候開始。後來，有人開始想：「那我就把資料當顏料，把演算法當畫筆來做創作。」投入的人也越來越多。

在生成式 AI（Generative AI）出現之前，其實做不了這麼多事。大家突然發現，原來可以用另一種方式來繪畫。用固定的演算法是一回事，用「說話」去產生演算法，再讓它生成大腦想要的東西，又是另一回事。現在的 AI 和以前不同，因為這時候引進了一個新工具，就是把「語言」帶進來。

使用者跟 AI 講話，AI 判讀意圖，抓取適當的演算法，生成全新的圖像或影片。大約兩年前，OpenAI 推出一個 model，叫做「Sora（天空）」。它說其實它做的不單單是視覺圖像，而是「用影像造就全世界最大的模擬器（simulator）」。取名Sora，因為只有天空才是它的限制。

大家都看到它有多強大，畫面裡一個女孩子走出來，光線折射等各方面都完全符合物理規則。為什麼模擬器這麼重要？因為在科學的發展過程裡，科學家一直希望找到一個簡單的方程式，來解釋這個世界（A simple equation that explains everything），比如史蒂芬・霍金就是用這樣的方式思考。但方程式有其限制，於是大家開始想：AI model 會不會是一個更好的方式，可以用來探索或模擬世界？

這也影響到音樂界。有人開始想，那些作曲家故意或不小心沒有寫完的作品，是不是可以補出來？「如果我知道你的過去，我能不能按照過去來預測你的未來？」例如舒伯特的《未完成交響曲》少了一個樂章，就有很多人試圖把它拼湊出來。

雖然這是生成式AI，但它不是創造性AI，兩個詞不太一樣，create是從無到有，generative是從有到有。它從過去的資料與繪畫經驗裡，把萃取出來的元素重新組合，開發出另一種可能性。

我們希望它更有創造性、更不受拘束，可是一旦放進真實世界，就必須受到限制，要符合物理系統。現在只要按一個鍵，瞬間就能跑出各種可能。那工程師現在在做什麼？他必須有品味，從中挑出最好、最漂亮的。只要把物理系統的限制條件交給 AI，它就會自動跑出東西，這在以前根本難以想像。

因此，人在整個設計中的觀點與角色，已經產生變化。現在我們的工作不只是「How to create（如何創造）」，而是「What to create（創造什麼）」，「How to select（如何挑選）」，先要AI大量快速生成，再選擇優化。

AI會帶來很多超出原本想像的點子，像是多了一種不同的想像力在看未來；但AI本身的模型、運算模式與資料取得途徑，同時也是想像力的限制。很多人剛開始玩，會覺得它很有創造性，但後來大家的產出越來越像，大概看一眼就知道使用什麼工具。

單聽AI這個字，你會覺得它是無限的；但問題是，每一個模型，以及它所採用的數據，其實都有一定的本質與個性，它是有侷限的。所以我們常常說：「不要讓AI限制你的想像力。」它一開始會爆發，但很快你就會發現，它的邊界（boundary）其實就在那裡。如果你找不到限制，你就找不到自由。這就是人與 AI 之間快速更迭的關係，彼此的角色都會因此發生很大的改變。

胡： 張玹作為古典樂作曲家，你現在的創作跟 AI 的關係是什麼？

張玹： 我每天都在用，但不是拿它來寫曲子。多半是處理一些文書、行政工作，或者問它「這句話怎麼寫比較好」。我覺得，AI 跟古典當代音樂的關係，還沒有發展到需要用生成式 AI 的程度。就像 Ted 說的，它給出的東西還是來自過去學過的內容。那它有沒有可能像人類的神經網路一樣，產生一個「湧現」的過程？這件事已經被證實了嗎？還是還做不到？

Ted： 我常常努力聆聽許多人傳來的AI音樂作品，試著理解它的潛力，但衡量音樂的最終標準始終沒有改變：它能不能創造出一種蘊含故事、並與人產生共鳴的聲音？AI 或許能製造某種「效果」，但它本身未必理解造成這份感動的原因。就像如果你只用華格納的資料去訓練模型，它感動人的方式就一定是華格納式的，不大可能發展出艾瑞克・薩提那樣的風格。只要訓練方向受限，AI就無法走到預期之外的境地。

有一件事在未來卻很有潛力。我們曾在實驗室做過心率變異度 （HRV）測試：人的交感神經與副交感神經變化，其實可以被客觀數據化。如果讓作曲家聆聽自己創作的音樂，並量測他的生理數據，我們就能對應出他在創作或聆聽的哪個階段，心情如何引發特定的神經變化，進而建立出一套模型。當我們累積足夠的數據，就能更精準地預測：哪一類型的人，會在哪一個音樂的「瞬間」受到感動。理論上，我們完全可以打造出一個 AI 模型，精準複製那個觸動人心的瞬間。

我們必須擴大對數據的認知，不應侷限於肉眼可見的文字敘述，因為生理資訊本身就是一種語言。未來如果再進一步與機器人結合，邁向「具身智慧（Embodied intelligence）」，音樂可能會身處一個極為特殊的空間。它既容易感知，卻又難以徹底解析，恰好能成為一道過渡的門戶；音樂或許能引領我們，接近另一個世界的樣貌。

張玹： 音樂很多時候無法被當代驗證。這個時代很紅的作曲家，百年後可能沒有人要演他的作品。如果AI去學習我們現在寫的音樂，百年後也可能被認為是失敗的。目前 AI 生成的音樂，能不能被未來的學術與大眾接受，現在還看不到。

Ted： 對我而言，張玹創作裡的實驗性，比較像是在「解構」音樂的過程，再透過互動重組它。這跟單純拿過去的資料生成一段音樂不一樣。它能讓人從另一個角度思考寫音樂的邏輯與哲學，而且一定要有人介入，這件事才會存在。

張玹： 剛好最近也在想AI 音樂的關係，這個時代應該要出現新的藝術／音樂形式。AI 的出現讓我們反思：為什麼要創作？當很多事情被取代時，我們還可以是誰？AI不該只是用來取代藝術家，而應該用來賦權所有人，催生全新的流派。這很像Ted說的，我們一直都在找方法解釋這個世界。科學家用方程式；太空人拓展物理邊界，探索我們是什麼樣的物種；宗教與藝術則是往內求。如果未來很多事情都被AI取代了，我們是不是可以花更多時間往內觀？

Ted：希望如此。但我現在遇到的人都說，因為工具太方便，反而逼著人做更多事。你按一個鍵，造出一個代理人（agent）幫忙做事，覺得好玩就繼續做，結果發現自己每天都不能休息。最困難的反而是：你什麼時候願意不去用它，願意把它放掉？

胡： 剛剛講到「選擇」的能力在AI時代很重要。如果AI生成大量的可能性，我們會不會反而離自己真正想要的選擇越來越遠？

Ted： 這裡有兩件事。當你讓AI代替你做事時，它會生成非常多回應。但最可怕的是，你會在sea of ideas的汪洋裡迷航，反而不知道自己真正要的是什麼。你問AI 一個問題，它永遠會給你答案；你說不喜歡，它會立刻再給你第二個答案。問題是，你什麼時候要say no？在哪一個地方say no？這很關鍵。所以我常跟大家說：「你要學會跟它say no，說『我不喜歡你的東西』，去刺激它想更多事情。」

當你覺得「它是AI，講的肯定沒錯」，於是全盤接受，這是非常危險的「開迴路（open loop）」。你一定要在系統裡建立「閉迴路（closed loop）」，隨時觀照它跑出來的東西，和你的意志、想像之間有什麼差別，再去修正你的提示詞。學會去「否定它」，往往比「接受它」能學到更多；最重要的是，你必須具備判斷能力。這需要全新的AI素養與訓練，已經不是單純寫程式的問題。

胡： 音樂跟藝術都有「美」，但是 AI 的介入會影響「美」嗎？

Ted： 這裡面最難的字，就是你談到的「美」。這個字本身就很難定義，因為每個時代都有不同的美學。先撇開其他不談，關於「美」，我要怎麼形成一個AI model去做判斷？

很久以前，大家想知道一瓶紅酒有多貴，所以工程師發明了電子鼻來分析酒的氣味、成分與價格。在神經網路還沒出現、只能用演算法的年代，做法就是收集眾人經驗，把顏色分成A、B、C等級量化。他們希望一瓶酒打開就能知道值多少錢，但無論怎麼做，這都是極度主觀的，包括你今天吃了什麼、聞了什麼才來測試，它對外界影響非常敏感。

所以現在的問題變成：你要怎麼訓練出一個判斷「美」的AI？這跟判斷是否罹患癌症不一樣。有人想嘗試用訓練過的AI做推論，但目前都還在嘗試。AI畢竟是由大量矩陣運算構成的系統，它有沒有能力做這件事？還不知道。

這也牽扯到我們對現在AI的理解：它距離未來的完美境界還有一段距離。大家常說神經網路就是人的大腦，但理論上它不該等同於人腦，因為人腦複雜太多了。大腦是承載善惡美學的載具，就連人類都還沒完全搞懂大腦怎麼運作。

但是反過來想，既然AI想模仿的是智慧，它本身是「人工化的智慧（artificialized intelligence）」，那在創作過程裡，創作者本身就是智慧的載體，你只是把它人工化，創造一個數位介面來接收感測器的資料而已，那這樣會不會養成具有美學意識的AI model？有可能，但最終的判斷，還是掌握在人類手裡。

張玹：每個世代都會重新被問一次「如何定義美？」，而我們的作用，就是打破之前的定義，衝撞原本的框架。假設 AI 是一個有意識的大型神經網路，但它並沒有自我。從佛學的角度來講，它沒有「眼耳鼻舌身意」，沒有體感，也沒有「我執」。它缺乏這些感官去判斷自己認為的「美」，它所認知的美，都是別人告訴它的，完全沒有親身體驗。

Ted： 在未來的「具身智慧（Embodied intelligence）」中，眼、耳、鼻、舌、身這五項感官都會有，但要產生「意」就困難了。端看你要把「意」定義成推論還是推理。我想我們真正的生命體應該是非常高維度的，但在人世間，我們只有 3+1 維，也就是三維空間加時間。也就是說，我們現在的生命，其實是被「降維」的生命。真正意識到宇宙樣貌的人，為了講給世人聽，只能降階到三維空間來表達，因此真正高維度的經驗很難被理解。

張玹： 對我而言，創作的核心其實不在於「選擇」。假設創作分成幾個階段，一開始可能是把所有可能性列出來，然後我去觀察，做一些選擇。但我覺得最重要的是：花很多年時間，打造出一條由腦神經元建構而成的「多線道高速公路」。

當我打造出很多條高速公路之後，只要我心裡想到一個想表現的地方或事物，它就會自動在我打造出的眾多路徑中，選擇自己要行進的路線。最終它可能還是到達了目的地，但呈現出來的樣貌，會跟我原本預期的完全不一樣。

如果我是有意識地去選擇某一條路徑，其實就會一直依循固定的模式。但如果我可以刻意反直覺，甚至放下「要不要選擇」這件事，就有可能抵達我原本無法做到的音樂。

Ted： 我們現在還無法抓到所謂「靈光乍現」的瞬間。人必須維持在一個狀態裡，到某個點才會突然打開。這種人類特有的思維「跳躍」，目前的AI很難做到。當AI的模型與權重都是固定的，它只能在龐大的資料裡合成不同的東西。如果要跳出原本的框架，神經網路就必須重新連結，形成另一種模型。這意味著，資料本身仍然可以用來訓練學習，但運算的模式與方法已經改變；而要 AI 自己改寫那套模式，現階段還是是非常困難的。

張玹：我後來找到了方法。我想像虛空之中有一扇門，所有能量從另一個時空穿過那扇門進來，落入「人」這個載體。落在我身上變成音樂，落在畫家身上變成藝術，能量本質上是同一個東西。當創作卡住，通常是那扇門被擋住了。直到為法鼓山法青寫兒歌時，我才發現，擋住門的，竟然是我學過的「什麼是對的、錯的音樂」這種框架。我必須把這些全放下來，門才會自動打開。我花了三年學習，不僅學會讓它打開，還學會如何安全地把它「關起來」——不能只開不關，不然會很嚴重，可能會被門另一頭的能量吞噬。能自由收放這扇靈感之門，或許正是現階段人類能做到的事。

胡： Ted曾提過：「現在是一個『人文藝術跟科技有可能達到平衡』的時代。」可以請你談談想法嗎？

Ted： 我們常說最先進的科技是「state-of-the-art」，它其實就是「藝術的一種狀態」。科學跟藝術非常接近，雖然產出不一樣，但本質上都是在探索這個世界、探索「人」，只是工具與描述方式不同而已。

現在AI是靠大量資料訓練，可是以前像李白未必大量讀書，喝點酒就能進入寫詩的狀態；愛因斯坦在專利局做小工程師，單靠大腦跟數學，就能推導整個宇宙的模型。他們看到的是同一個月亮，只是德布西把它寫成了音樂，愛因斯坦把它寫成了數學方程式。

現在很多人開始嚴肅思考：我們建造AI模型、處理資料的方式，其實跟人的智慧很不一樣。對我來講，這都是一段旅程，一場尋找智慧奧秘的quest for intelligence。也許旅程的終點什麼都沒有，但也可能什麼都有。

張嘉淵 Ted Chang

廣達電腦技術長、副總經理暨廣達研究院院長。帶領團隊深耕智慧醫療與AIoT領域，並主導廣達與麻省理工學院（MIT）長達二十年的前瞻科技研發合作。2019年起獲任命為APEC企業諮詢委員會（ABAC）台灣代表，積極於國際推動數位健康與科技包容性。

張玹 Chang Shiuan

1989生於臺北，作曲家，旅居紐約。2016年創辦音元 Innuan，2024年發行的首張個人專輯《安土》，於2025年入圍傳藝金曲獎四項大獎。其作品被法國著名音樂評論雜誌《Classic Agenda》譽為「充滿靈性」。他的創作活躍於國際，並積極探索空間、藝術、音樂與科技的跨界結合。

胡士恩 Hu Shih-En

1989生於桃園，現任《500輯》主編，專注於圖文整合與訊息設計，擅長建立訊息的空間感與充滿可能的觀看性。

2000 年代｜AI 研究逐漸轉向資料驅動

2000年代的AI發展，重點不在單一產品，而在研究方法的改變：AI 越來越依賴大量資料與統計學習，而不再主要仰賴人手設定規則，這也為後來的深度學習發展鋪路。

2012｜AlexNet 帶動深度學習的突破

AlexNet 在 ImageNet 影像辨識競賽中的表現大幅領先，讓各界注意到：當資料、算力與神經網路規模同步提升時，AI 的能力會出現明顯進展。2012因此常被視為近代AI發展的重要節點之一。

2015｜DeepMind 展示 AI 從經驗中學習決策的能力

DeepMind 在《Nature》發表成果，顯示深度強化學習能直接從遊戲畫面中學習控制策略。這使AI的能力不再限於辨識，也開始延伸到決策與行動。

2016｜AlphaGo 使 AI 再次進入大眾視野

AlphaGo 先在研究中展現擊敗職業棋士的能力，後來又在與李世乭的對局中引發廣泛關注。這一事件使許多人開始重新思考AI與人類智慧之間的關係。

2017｜Transformer 問世，成為後續生成式 AI 的基礎架構

〈Attention Is All You Need〉提出 Transformer 架構，後來的大型語言模型與多數生成式系統，皆建立在這一重要轉折之上。

2022｜DALL·E 2 讓文字生成圖像更廣為人知

OpenAI 發表 DALL·E 2，使一般使用者更明確感受到：透過文字輸入，AI 已能生成相對完整的圖像內容。這對設計、媒體與視覺創作領域帶來明顯影響。

2022｜ChatGPT 讓 AI 成為日常對話工具

ChatGPT 以對話形式提供回應與修正，進一步降低了 AI 的使用門檻。一般使用者不必具備程式背景，也能直接透過語言與 AI 互動。

2024—｜Sora 將生成能力推進到影片領域

Sora先以研究預覽形式亮相，之後逐步產品化。相較於文字與圖像生成，影片生成更進一步涉及場景、動作與物理關係的模擬，朝向更複雜的世界建模能力發展。

本文選自《500輯》Issue154「在AI的邊界，走進創作的荒野」」

• facebook

AI影響了創作的方法，也把新的問題推到眼前：美能不能被判斷，靈感能不能被推演，比起練習怎麼向AI提問，如何拒絕它給出的答案，會不會反而學到更多？本期專題從AI科技談起，也一路走到藝術裡那些不容易交付的感受、判斷與選擇。看似關於未來的提問，最後還是落回人怎麼理解自己。