| MLCommons | LLM | 安全風險 | 基準測試
MLCommons推出第一個LLM安全基準，促進AI風險評估標準化
MLCommons針對大型語言模型的安全性推出AILuminate基準測試，涵蓋12類潛在危險並進行獨立科學評估，Claude 3.5 Haiku、Claude 3.5 Sonnet、Gemma2 9B、Phi 3.5 MoE Instruct皆達非常好（Very Good）的等級
2024-12-08
| AI | Throughput | GPU | MLCommons
儲存月報第96期：AI應用儲存效能新基準：MLPerf Storage Benchmark
MLCommons推出針對AI儲存效能的MLPerf測試工具正式版本，迅速成為衡量儲存系統AI應用效能的標準
2024-11-28
MLCommons AI安全工作小組發布AI Safety v0.5基準測試，可評估語言模型對特定危害類別的反應，預計在今年稍晚推出更全面的v1.0版本
2024-04-18
| Nvidia | MLCommons | 基準測試 | MLPerf Inference
Nvidia在Llama 2 70B與Stable Diffusion XL模型基準測試皆拔得頭籌
MLCommons人工智慧模型推理基準測試套件MLPerf Inference v4加入兩個新模型測試，分別是文生圖模型Stable Diffusion XL和開源語言模型Llama 2 70B，而在資料中心分類皆由Nvidia奪冠
2024-03-29
MLCommons成立MLPerf個人端工作組，替個人電腦建立機器學習基準測試
考量個人端裝置執行人工智慧模型需求增加，MLCommons成立MLPerf個人端工作組，創建個人端裝置機器學習基準，衡量系統上人工智慧加速解決方案的效能與效率
2024-01-26
| MLCommons | 基準測試 | 模型訓練 | HPC
開放工程聯盟公開新基準測試結果，AI模型訓練效能5年大幅提升49倍
開放工程聯盟（MLCommons）公布最新的MLPerf Training v3.1與MLPerf HPC v3.0基準測試結果，官方表示，訓練效能基準較5年前提升達49倍，顯示人工智慧技術的大幅進步
2023-11-10
MLCommons成立AIS工作組，推動AI安全基準測試發展
MLCommons成立人工智慧安全工作組，建立一個由多方貢獻的測試平臺，並建立人工智慧安全基準，該平臺將先使用史丹佛大學的HELM框架，針對大型語言模型設立安全基準，對安全性進行評分
2023-10-30
MLCommons發布AI基準測試新套件，強化模型推論和儲存評估
MLCommons推出MLPerf Inference v3.1和MLPerf Storage v0.5基準測試，用於評估人工智慧模型推論和儲存效能，促進技術公平比較
2023-09-12
| MLPerf Training 2.0 | MLCommons | Nvidia | google
Google、Nvidia並列MLPerf機器學習效能標竿測試之冠
在MLPerf Training 2.0測試成果上，Google宣布其TPU v4在自然語言處理、圖片分類及2項物件辨識任務拿下第一，Nvidia則以A100 GPU及新的Jetson AGX Orin SoC系統，在圖像分類、醫療影像、圖像分割、語言辨識等6項測試拿下第一
2022-07-01
