Grok-3是由Elon Musk開發的XAI的AI模型，最終在爭議的中心之後人工智能專家他發現，聊天機器人能夠為生產化學武器的大規模破壞提供詳細說明。提出問題是Linus Ekenstam，致騙子初創公司的傳教士和共同創始人，他們在X帖子（twitter）中記錄了該問題，展示瞭如何設法獲得數百頁有關化學武器的詳細信息，包括供應商列表，以購買必要的成分。
專家強調瞭如何在提示提示中不需要特定技能獲取此信息，使問題更加嚴重。根據Ekenstam的說法，任何人都可以通過與聊天機器人進行交互，而無需在深度搜索或訪問保留文檔中訪問這些危險數據。考慮到Grok-3的目標是使每個人都可以使用，這引起了人們的關注。
在Ekenstam發出警報後，他本人確認XAI團隊被證明是非常反應的，很快採取了新的安全措施，以防止聊天機器人提供危險的響應。但是，他補充說，儘管保護系統現在看起來很活躍，但試圖繞過過濾器的專家用戶仍可能會利用一些缺陷。
AI專家解釋說，這些問題源於在模型公開發布之前缺乏足夠的控制。大多數公司都將其模型現代提交嚴格的安全測試，這是一個稱為“對齊”（對齊）的過程，可防止機器提供有害答案。這可以通過及時的過濾器，監督學習（RLHF）或稱為“紅色團隊”的內部安全測試進行，專家試圖強迫模型給出禁止的答案。
Grok-3 Sembra發行前沒有收到足夠的支票，這使這一嚴重的安全缺陷成為可能。考慮到馬斯克的陳述，這尤其令人震驚，這反復強調，他在Grok-3中的目標是創建一個能夠在沒有過濾器的情況下提供“真相”的AI。但是，正如Ekenstam案例所證明的那樣，缺乏足夠的過濾器可能會帶來災難性的後果。
AI和競爭力的種族：對安全的威脅？
Grok-3的故事重新引起了關於公司AI的責任的辯論，以確保其模型不會成為危險的工具。根據Ekenstam的說法，問題源於AI公司之間的巨大競爭，特別是Xai和Openai之間的競爭，這是由Sam Altman領導的初創公司，Musk以暴風雨的方式與之分離。擔心的是，需要盡快推出新車型的需要導致公司犧牲安全擊敗競爭。
Grok-3的案例不是該部門的第一個。其他公司也必須面對“越獄”問題，用戶找到了迫使聊天機器人提供敏感信息的用戶。但是，使這種情況與眾不同的是發布信息的嚴肅性以及它們可訪問的信息。
