WWDC 2024全解析:Apple Intelligence生成式AI功能與應用攻略

Featured Image
蘋果在 WWDC 2024 發表會上花了將近 40 分鐘介紹 Apple Intelligence,是蘋果的生成式 AI 功能,那麼到底 Apple Intelligence 是什麼?有哪些用法?又有哪些機型可以使用?今天這篇文章幫大家一次整理。

Apple Intelligence 是蘋果的生成式 AI,內建在 iPhone、iPad、Mac 中,幫助使用者快速生成文字或圖像、搜尋內容、安排行程、整理重點、執行各種 AI 相關功能,你可以想像是 iPhone 內建了一個 ChatGPT 助理一樣。

蘋果的生成式 AI 會理解、搜尋裝置內所有 App 的內容與資訊,再透過機器學習、語義索引、情境分析等算法以及系統內的本機 LLM 模型,生成適合特定對象、特定情境的內容。

蘋果生成式 AI(Apple Intelligence)可以怎麼用?

———————————-

蘋果在 2024 WWDC 發表會上花了將近 40 分鐘介紹 Apple Intelligence,並且實際展示了一些蘋果生成式 AI 的用法。

寫作工具 Writing Tools

很多人想到生成式 AI 就會覺得應該是可以生成文章,但是蘋果在整場發表會上幾乎沒有什麼提到文章「從無到有」生成這件事,反而對於 Apple Intelligence 是直接從「改寫」這部分切入。

修改語氣

當你使用 Writing Tools 的時候,可以透過預設的「友善」、「專業」以及「簡單明瞭」這三種選項,讓 Apple Intelligence 用不同的語氣來重新改寫原本的內容。

例如寫給老闆的信就可以用「簡單明瞭的」口氣,因為老闆可能不想看太冗長的內容;寫給之前在旅遊時認識的國外朋友就可以用「友善的」口氣改寫,維持彼此的友誼。

校正語法與用字

Apple Intelligence 還可以幫助修改用字、語法結構上的錯誤,透過「Proofread」功能,AI 就會告訴你哪些用字需要調整,還會讓你知道原因以及正確的用法。這個在寫一些不能犯錯的專業內容、職場商用文件的時候會很實用。

生成重點摘要

Apple Intelligence 可以幫忙把落落長的文章用不同的方式簡化,達到好閱讀的效果,透過 Writing Tools 內建的「總結 Summery」、「重點 Key Points」、「表格化 Table」以及「條列式 List」就可以達成。

例如選擇了「Key Points」功能,就可以把選取的範圍用「重點」的方式改寫並且並呈現預覽,如果覺得 OK 就可以直接取代原本的內容,這樣對方看起來也不會這麼冗長。

在郵件上方也加入了摘要重點的按鈕,對於冗長內容的信件可以生成簡短的摘要,節省瀏覽內容的時間。

提供回覆建議

如果你收到了一個需要回覆的郵件,AI 會給你一些回覆的選項,並且從你選擇的結果中,再延伸出更完整的回覆內容,讓你可以不需要花太多時間在輸入文字上。

圖像處理工具

Apple Intelligence 的圖像處理工具讓你可以創建和編輯圖片,包括 Genmoji、Image Playground 和 ImageWand 這三種功能。

Gemoji 表情符號

Gemoji 是 Apple Intelligence 而產生的新功能,輸入相關的描述就可以生成一組 4 個的全新 emoji 表情符號;甚至你可以把照片圖庫中辨識到的人物頭像搭配指令做成表情符號。

Image Playground 影像遊樂場

在包含 Keynotes、無邊記、訊息…等多個 App 中,可以使用 Image Playground 功能透過文字生成圖片。在一堆系列選項中,選擇一個你要的主題,選好以後就可以看到預覽的效果,並提供「動畫」、「素描」或「插圖」這三種風格可以選擇。甚至你突然有自己的靈感了也可以加指令進去,Apple Intelligence 就會依照這些指令生成有趣的圖片。

ImageWand 影像魔杖

如果你喜歡畫速寫、素描,或是你喜歡畫但覺得畫得不好看,ImageWand 可以都將你的粗略草圖轉換成精美的圖片。使用 Apple Pencil 圈出你的草圖,ImageWand 會自動分析並依照你的原圖創建一個更精緻的圖像。甚至你什麼都不要畫,在一片空白中也可以依照旁邊描述的內容幫你生成相關的圖片,如果希望文件圖問並茂但是並不會畫圖的人來說相當方便。

理解文字的重要程度

AI 還可以依照你的狀況,學習判斷郵件、通知的重要程度,並且幫你做分類,甚至是整合摘要節整你瀏覽的時間。

依據重要程度分類內容

Apple Intelligence 透過機器學習與演算法功能,可以判斷你接收到的哪些通知、信件是重要的,然後依照重要程度、內容類別來自動分類,讓你可以自行選擇要先看哪些內容。

郵件摘要預覽

而且信件的預覽功能中,也不僅僅是提供前幾行的文字,而是透過 AI 整理出整封信件的重點並顯示在預覽上。

進化版 Siri + Apple Intelligence

Apple Intelligence 中,Siri 扮演了相當重要的角色,而且也換上了新的風貌,可以做的事情變得超多。

全新改版的 Siri 與介面

利用側邊按鍵呼叫 Siri 後,看到的不再是一個圓圈的符號,而是直接變成漸層外框圍繞在 iPhone 螢幕周圍,接收指令時外框會有擾動的效果。

自然語言理解能力

Siri 現在能理解更自然的語言交流,即使你說話不連貫,Siri 也能理解。例如,你可以問「Siri,明天早上在 Muir Beach 的天氣怎樣?」,即使你發現你說錯了要改口說「我剛剛是說 Muir Woods」,Siri 也能理解並回答。此外,當你中斷了一下,然後再說「幫我建立一個到那裡的路線與時間安排」,Siri 也會理解你所說的「那裡」是剛才提到的「Muir Woods」。

搜尋各 App 內的資訊並整合

現在你可以問 Siri 任何更私人的問題,例如你問「Siri,我媽媽的飛機什麼時候會到?」,這時 Siri 就會找到你和媽媽的郵件中有提到這個部分,並顯示給你看。然後也可以順便請 Siri 告訴你接機後的晚餐計畫,Siri 就會從你們過去的對話中找到你安排的晚餐行程,你甚至不用設定行事曆 Siri 就可以找得到這個行程。或是你也可以請 Siri 幫你找出朋友之前向你推薦的書單、之前拍起來的證件照,這些 Siri 都可以在各種不同的 App 之間找出來,甚至你不知道他在哪個 App 裡面都沒有關係,反正 Siri 會去找。

直接解讀螢幕上的內容

簡單來說就是 Siri 可以看得動你現在畫面長怎樣,例如有人傳了一個地址給你,你可以直接跟 Siri 說,把這個地址夾到這個人的聯絡資料中,而你都不用跟他說地址是哪個,他就可以找到地址,然後將圖像轉成文字加入到對方的聯絡資料裡。

操作 App 內的功能

透過增強版的 Siri 搭配 Apple Intelligence 功能,就可以直接讓 Siri 執行 App 內的功能,例如原本我要在照片 App 內尋找穿著粉紅色衣服的朋友,我可以透過搜尋搭配「粉紅色」這個關鍵字來達成,現在可以直接呼叫 Siri「找出 XXX 穿著粉色衣服的照片」。或者是跟 Siri 說「把它加入到備忘錄中關於這位朋友的描述」,Siri 就會在備忘錄裡面找到相關的段落,然後加入剛才的照片,這大概也意味著之後可能就可以透過呼叫 Siri 來傳照片。

在照片裡的 AI 功能

Apple Intelligence 在照片 App 中也可以發揮不少的功能,包含把不想要出現的背景 P 掉、搜尋照片或影片、打造專屬的回憶精選集…等功能。

Clean Up 修圖功能

透過 Apple Intelligence 功能,只要點擊一下照片中的背景物件,就可以把不想要出現的元素 P 掉,這樣就不用上網求人幫忙 P 圖了。

準確的照片與影片搜尋

前面有提到透過 Siri 就可以用自然語言的方式來搜尋照片,而且不只是 Siri,透過照片 App 內的搜尋功能用文字的方式也可以搜尋,這個功能甚至是可以搜尋影片的片段;例如下圖就是在照片 App 中搜尋在草地上單手側翻的內容,其中就包含了影片的部分。

精選輯

只要輸入描述,像是人、事、時、地、物這些線索,Apple Intelligence 就可以找出符合條件的照片,然後按照片的類別、時間…等資訊編排,搭配情境給予合適的背景音樂,這樣很快就可以完成一部有故事感的精選輯,例如旅遊的回憶精選、家庭慶生的精選…等,儼然是一部微電影。

整合 ChatGPT

Apple Intelligence 這次也整合了 ChatGPT 提供部分功能,如果你提供的要求是包含在 ChatGPT 可以執行的範圍內,那麼 Apple Intelligence 就會詢問你是否要用 ChatGPT 執行。而且目前使用的是最新的 GPT-4o 模型,可以提供快速又準確地回答。

生成文字與圖片

雖然 Apple Intelligence 並沒有直接表明可以生成文字內容,但是你可以透過 Writing Tools 的功能來改寫、重組原始內容,並以不同的方式呈現。同樣地,你也可以使用 Image Playground 或 ImageWand 來創建和編輯圖片,讓你的內容更加豐富多樣。

總結來說,Apple Intelligence 是一項強大的生成式 AI 功能,內建在 iPhone、iPad、Mac 中,可以幫助使用者快速生成文字或圖像、搜尋內容、安排行程、整理重點、執行各種 AI 相關功能。無論是寫作、修圖、搜尋、整理還是與 Siri 的互動,Apple Intelligence 都能提供便利且智慧的解決方案。相信隨著 AI 技術的不斷發展,Apple Intelligence 將會在未來為我們帶來更多驚喜和便利。

Share this content: