AI & Big Data

在今日主題演講中，AWS執行長Matt Garman揭露一系列運算新亮點，包括採用Nvidia Blackwell GPU的P6系列EC2執行個體、AWS自研晶片Trainium2的EC2 Trn2執行個體，以及由4個Trn2執行個體組成的Trn2 UltraServer執行個體，可用來訓練兆級參數模型。另外，新一代Trainium3晶片將於明年推出。

AWS發表該公司首款多模態模型Amazon Nova系列，於Amazon Bedrock平臺上提供給企業用戶

在re:Invent大會上，AWS公布新的資料中心基礎架構元件，包括簡化電子電機設計和多模態冷卻系統，提高AWS執行AI的能源效率

在今年re:Invent年會中，AWS揭露Trainium 2 UltraServer主機，也推出全託管AI平臺Amazon Bedrock的AI推論加速功能預覽版，可加速Llama 3.1模型和Claude 3.5 Haiku模型的推論速度。Anthropic共同創辦人暨運算長Tom Brown還透露，下一代Claude模型將由數十萬顆Trainium 2晶片來訓練。

馬斯克向法院聲請，請求法官阻止OpenAI轉為營利機構，及和微軟合作鞏固市場壟斷等行為

11月剛在鹽湖城落幕的KubeCon北美大會，WebAssembly成了這場容器與雲原生大會最熱門的技術話題，被視為K8s未來十年的三大發展方向之一，與eBPF、IT永續並列

生成式AI的浪潮，成了加速Wasm擴大影響力的新助力

AI推論程式碼、CUDA runtime、PyTorch框架和10GB的LLM基礎模型，用Wasm編譯後的Bytecod檔，可以大幅縮小到數MB，比同樣功能的容器或VM映像檔，足足少了1千倍，這正是Wasm冷啟動速度可以超級快的原因。