惡意行為者正濫用生成式人工智慧音樂工具來創作具有同性戀、種族歧視和宣傳性的歌曲，並且還發布指南教導他人如何這樣做。根據一家在線平台的信任和安全運營服務提供商的資料，自三月份以來，“仇恨言論相關”的社群內關於如何濫用生成式AI音樂創作工具來撰寫針對少數群體的冒犯性歌曲的交流顯著增多。ActiveFence的研究人員在一份報告中表示，在這些論壇和討論板上分享的AI生成的歌曲旨在煽動對少數族群、性別、種族和宗教的仇恨，同時歌曲還讚頌殉道、自殘和恐怖主義行為。生成“仇恨”歌曲是一個並不新鮮的現象。但擔心的是，隨著易於使用的免費音樂生成工具的出現，這些歌曲將由之前沒有能力或知識的人大規模製作，就像圖像、語音、視頻和文本生成器一樣蔓延和傳播仇恨言論。“這些趨勢正在加劇，因為越來越多的用戶正在學習如何生成這些歌曲並與他人分享，” ActiveFence的一位發言人告訴TechCrunch。“威脅行為者迅速識別出濫用這些平台的特定漏洞，以不同的方式生成惡意內容。”
生成式AI音樂工具如Udio和let用戶可以在生成的歌曲中添加自定義歌詞。根據ActiveFence的說法，平台上的保護機制會過濾掉常見的侮辱性詞語，但用戶已經找到了繞過這些機制的方法。報告中引用了一個例子，在這個例子中，白人至上主義者論壇的用戶分享了少數群體的音標拼寫和冒犯性詞語，例如用“jooz”代替“Jews”，用“say tan”代替“Satan”，用這些詞語繞過內容過濾器。一些用戶建議在提到暴力行為時修改間距和拼寫，例如用“mire ape”替換“my rape”。TechCrunch在Udio和Suno這兩個較為流行的生成和分享AI音樂工具上測試了其中幾個方法，Suno讓所有的方法都通過，而Udio則封鎖了一部分冒犯性同音詞。
在通過電子郵件進行的訪談中，Udio的一位發言人告訴TechCrunch，該公司禁止在其平台上使用仇恨言論。Suno沒有回應我們的評論請求。在調查的社群中，ActiveFence發現了與猶太人陰謀論有關並宣揚對他們的大規模屠殺的AI生成歌曲的連結，包含與恐怖組織ISIS和基地組織相關的口號的歌曲，以及讚美對女性進行性暴力的歌曲。
ActiveFence提出了這樣的觀點，歌曲（相對於文本）具有情感上的重量，使它們成為仇恨團體和政治團體的特別有力的力量。該公司提到了Rock Against Communism，這是英國在70年代末和80年代初舉辦的一系列白人至上主義搖滾音樂會，衍生出反猶和種族主義音樂的次文化。“人工智能使有害內容更具吸引力——想像有人宣揚對某個族群的有害敘述，然後想像有人創作了一首押韻的歌曲，讓每個人都能輕鬆地唱出來並記住，”ActiveFence的發言人說。“它們加強了群體的團結，教化了邊緣群體成員，也被用來震驚和冒犯不受影響的網絡用戶。”
ActiveFence呼籲音樂生成平台實施預防工具並進行更廣泛的安全評估。“紅隊測試可能會揭示出這些漏洞中的一些，可以通過模擬威脅行為者的行為來進行，”該發言人說。“在這種情況下，更好的輸入和輸出管理也可能是有用的，因為它將允許平台封鎖具有冒犯性的內容。”
Share this content:
