濫用AI音樂工具製作仇恨歌曲,網絡安全公司ActiveFence揭露內幕

Featured Image
惡意行為者正在濫用生成式AI音樂工具來創作同性戀、種族主義和宣傳性歌曲,並發布指南教導他人如何這樣做。根據一家在線平台上進行信任和安全操作管理的服務,自3月以來,“仇恨言論相關”社群中關於如何誤用AI音樂創作工具寫冒犯性歌曲以針對少數族裔群體的討論激增。ActiveFence的研究人員在一份報告中表示,這些論壇和討論板上分享的AI生成的歌曲旨在煽動對種族、性別、種族和宗教團體的仇恨,同時歌頌殉道、自殘和恐怖主義行為。這些歌曲並不是什麼新現象。但令人擔憂的是,隨著易於使用的免費音樂生成工具的出現,之前沒有這種手段或知識的人將大規模製作這些歌曲,就像圖像、語音、視頻和文本生成器的傳播一樣。ActiveFence的一位發言人告訴TechCrunch:“隨著越來越多的用戶學會生成這些歌曲並與他人分享,這些趨勢正在加劇。威脅行為者迅速識別出濫用這些平台的特定漏洞,以不同的方式生成惡意內容。”生成“仇恨”歌曲———————生成式AI音樂工具(如Udio和)讓用戶為生成的歌曲添加自定義歌詞。根據ActiveFence的報告,這些平台上的安全機制可以過濾掉常見的侮辱性詞語,但用戶已經找到了繞過的方法。報告中舉例說,在白人至上主義論壇上,用戶分享了少數民族的音標拼寫和冒犯性詞語,例如使用“jooz”代替“Jews”和“say tan”代替“Satan”,以繞過內容過濾器。一些用戶建議在提到暴力行為時改變空間和拼寫,例如用“mire ape”代替“my rape”。TechCrunch對Udio和Suno這兩個用於創作和分享AI生成音樂的較受歡迎工具進行了測試,發現一些用戶的繞過方法可以讓所有歌曲通過檢查,而Udio則封鎖了一些但不是所有冒犯性同音詞。在電子郵件中,Udio的一位發言人告訴TechCrunch,該公司禁止在其平台上使用仇恨言論。Suno沒有回應我們的評論請求。在調查的社群中,ActiveFence發現了AI生成的歌曲中存在與猶太人有關的陰謀論和鼓吹大規模屠殺的口號;與恐怖組織ISIS和基地組織(Al-Qaeda)有關的口號;以及歌曲中美化對婦女的性暴力行為的內容。歌曲的影響——————ActiveFence提出了這樣的觀點,即相對於文字,歌曲具有情感上的重量,使其成為仇恨團體和政治團體特別強大的力量。該公司指出了反共搖滾樂運動,即在70年代末和80年代初在英國舉行的一系列白人至上主義搖滾音樂會,產生了反猶太和種族主義音樂的次文化。ActiveFence的發言人表示:“AI使有害內容更具吸引力-想象一下有人對某個族群宣揚有害敘事,然後想象一下有人創作了一首押韻的歌曲,讓每個人都能輕鬆地唱出來並記住。”他們加強了群體的凝聚力,對外圍群體成員進行洗腦,也用來震驚和冒犯無關的互聯網用戶。”ActiveFence呼籲音樂生成平台實施預防工具並進行更廣泛的安全評估。該發言人表示:“紅隊測試可能會發現其中一些漏洞,可以通過模擬威脅行為者的行為來進行。在這種情況下,更好的輸入和輸出監管也可能是有用的,因為它將允許平台在內容被分享之前封鎖內容。”

Share this content: