| AWS | AWS re:Invent 2024 | 運算 | 執行個體 | Nvidia | Blackwell | UltraServer
【re:Invent 2024現場直擊】AWS執行長揭運算服務新亮點，專為GAI設計推P6、Trn2和Trn2 UltraServer執行個體
在今日主題演講中，AWS執行長Matt Garman揭露一系列運算新亮點，包括採用Nvidia Blackwell GPU的P6系列EC2執行個體、AWS自研晶片Trainium2的EC2 Trn2執行個體，以及由4個Trn2執行個體組成的Trn2 UltraServer執行個體，可用來訓練兆級參數模型。另外，新一代Trainium3晶片將於明年推出。
2024-12-04
| AWS | re:Invent | Trainium 2 | 晶片 | UltraServer | Claude 3.5 Haiku | Project Rainier | 加速 | 推論
【re:Invent 2024現場直擊】AWS揭Bedrock AI推論加速功能，能讓Anthropic最新模型推論加速60%
在今年re:Invent年會中，AWS揭露Trainium 2 UltraServer主機，也推出全託管AI平臺Amazon Bedrock的AI推論加速功能預覽版，可加速Llama 3.1模型和Claude 3.5 Haiku模型的推論速度。Anthropic共同創辦人暨運算長Tom Brown還透露，下一代Claude模型將由數十萬顆Trainium 2晶片來訓練。
2024-12-03