📢 #Gate广场征文活动第二期# 正式啓動!
分享你對 $ERA 項目的獨特觀點,推廣ERA上線活動, 700 $ERA 等你來贏!
💰 獎勵:
一等獎(1名): 100枚 $ERA
二等獎(5名): 每人 60 枚 $ERA
三等獎(10名): 每人 30 枚 $ERA
👉 參與方式:
1.在 Gate廣場發布你對 ERA 項目的獨到見解貼文
2.在貼文中添加標籤: #Gate广场征文活动第二期# ,貼文字數不低於300字
3.將你的文章或觀點同步到X,加上標籤:Gate Square 和 ERA
4.徵文內容涵蓋但不限於以下創作方向:
ERA 項目亮點:作爲區塊鏈基礎設施公司,ERA 擁有哪些核心優勢?
ERA 代幣經濟模型:如何保障代幣的長期價值及生態可持續發展?
參與並推廣 Gate x Caldera (ERA) 生態周活動。點擊查看活動詳情:https://www.gate.com/announcements/article/46169。
歡迎圍繞上述主題,或從其他獨特視角提出您的見解與建議。
⚠️ 活動要求:
原創內容,至少 300 字, 重復或抄襲內容將被淘汰。
不得使用 #Gate广场征文活动第二期# 和 #ERA# 以外的任何標籤。
每篇文章必須獲得 至少3個互動,否則無法獲得獎勵
鼓勵圖文並茂、深度分析,觀點獨到。
⏰ 活動時間:2025年7月20日 17
英偉達發布TensorRT-LLM,可將H100 推理性能最高提升8 倍
據IT 之家9 月9 日報導,英偉達近日宣布推出名為TensorRT-LLM,是一個深度優化的開源庫,能夠在Hopper 等AI GPU 上加速所有大語言模型的推理性能。英偉達目前已經和開源社區合作,利用SmoothQuant、FlashAttention 和fMHA 等尖端技術,實現AI 內核來優化其GPU,可以加速GPT-3(175B),Llama Falcom(180B)和Bloom 模型。
TensorRT-LLM 的亮點在於引入了名為In-Flight batching 的調度方案,允許工作獨立於其他任務進入和退出GPU。該方案允許同一GPU 在處理大型計算密集型請求時,動態處理多個較小的查詢,提高GPU 的處理性能,可以讓H100 的吞吐量加快2 倍。
在性能測試中,英偉達以A100 為基礎,對比了H100 以及啟用TensorRT-LLM 的H100,在GPT-J 6B 推理中,H100 推理性能比A100 提升4 倍,而啟用TensorRT-LLM 的H100 性能是A100 的8 倍。