DeepSeek开源TileKernels:面向大模型训练与推理的GPU内核库

Gate 新闻消息,4月23日——DeepSeek已在MIT许可证下开源TileKernels,这是一套用TileLang编写的GPU内核库,面向大语言模型的训练与推理。TileLang是tile-ai团队开发的一种领域专用语言,用于在Python中表达高性能GPU内核。DeepSeek表示,该库中的大多数内核在计算密度和内存带宽方面已接近硬件性能上限,其中部分内核已部署在内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括Top-k专家选择、从token到专家的映射,以及融合的expand/shrink并配合权重归一化;支持FP8、FP4和E5M6格式的量化,提供逐token、逐块与逐通道量化,并包含融合的SwiGLU+量化操作;批量转置;Engram门控,融合RMSNorm的前向/反向传播与权重梯度归约;Manifold HyperConnection,采用Sinkhorn归一化并进行混合的split/apply;以及高层autograd接口,将底层内核封装为可训练的层。

Engram和Manifold HyperConnection是DeepSeek模型架构中的专有组件,首次公开披露了实现细节。该库需要NVIDIA SM90或SM100架构的GPU (H100/H200或Blackwell系列)、CUDA Toolkit 13.1或更高,以及PyTorch 2.10或更高。

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى إخلاء المسؤولية.

مقالات ذات صلة

CoW DAO 提议设立酌情资助计划以补偿域名劫持受害者

Gate 新闻消息,4月24日——CoW DAO 已提议设立一项酌情资助计划,用于补偿因 4月14日 cow.fi 域名劫持事件而遭受损失的用户。该计划将通过从法律辩护储备基金一次性划拨,对符合条件的受害者提供最高 100% 的损失补偿

GateNewsمنذ 4 د

سوق Cardano للـ NFT JPG Store يعلن إغلاقه في 23 مايو

رسالة أخبار Gate، 24 أبريل — أعلنت JPG Store، وهي سوق لتداول رموز NFT ضمن نظام Cardano البيئي، على X أنها ستغلق في 23 مايو بسبب عمليات غير مستدامة. ستتوقف كل من JPG Store ومنصة Comet التابعة لها عن خدمات الموقع الإلكتروني، على الرغم من أن العقود الذكية الأساسية ستظل

GateNewsمنذ 36 د

تطرح EtherFi اقتراحًا بحقن 5000 ETH في مجموعة الإنقاذ rsETH لمنع انتشار الديون المعدومة في بيئة DeFi

قدمت مؤسسة EtherFi اقتراحًا حوكميًا في 24 أبريل، يجيز سحب ما يصل إلى 5,000 ETH من خزانة الـ DAO لحقنها في تجمع الإنقاذ عبر البروتوكولات لحدث استغلال ثغرة rsETH، لسد فجوة الضمانات ومنع ظهور ديون معدومة في Aave وأسواق الإقراض الأخرى ضمن DeFi. يأتي ذلك كجزء من قيام EtherFi بـ "DeFi United" ضمن عملية الإنقاذ الموحدة.

MarketWhisperمنذ 36 د

بافيل دوروف يعلن خفضًا بمقدار 6x في رسوم معاملات شبكة TON خلال أسبوع واحد

رسالة أخبار بوابة، 24 أبريل — أعلن بافيل دوروف، مؤسس تيليجرام، أن رسوم معاملات شبكة TON ستنخفض 6 مرات خلال الأسبوع المقبل، لتصل إلى 0.00039 TON (تقريبًا $0.0005) لكل معاملة، وستظل ثابتة بغض النظر عن ضغط الشبكة. بعد إجراء التخفيض، يُتوقع أن تصبح معظم المعاملات على TON مجانية بالكامل. لم يحدد دوروف جدولًا زمنيًا دقيقًا لطرح الرسوم الصفرية، لكنه أكد أن بنية رسوم الشبكة ستظل دون تأثر باختناقات الشبكة.

GateNewsمنذ 40 د

ether.fi 完成 weETH 跨链桥安全加固,锁定 LayerZero 多签并将 DVN 阈值提高至 4/4

Gate 新闻消息,4月24日——ether.fi 已完成面向 weETH 跨链桥的协议级安全加固,覆盖大多数部署链,未发现漏洞。此次升级主动消除潜在风险,并使 ether.fi 对所有与安全相关的桥接参数拥有完全控制权

GateNewsمنذ 1 س

Pyth Network 转向收入驱动模式,并计划在 2026 年前逐步淘汰 Pythnet

Gate News 消息,4 月 23 日 — Pyth Network (PYTH),一家加密货币数据基础设施提供商,宣布对其经济模型进行重大改造:从基于代币的激励制度转向以收入驱动的增长策略。 根据 OP-PIP-100 提案,网络现有的基础设施 inf

GateNewsمنذ 5 س
تعليق
0/400
لا توجد تعليقات