第四範式推出大模型推理端側解決方案ModelHub AIoT

金十數據2月26日訊，從第四範式瞭解到，第四範式推出大模型推理端側解決方案ModelHub AIoT，用戶在端側可輕鬆部署包括DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸餾模型，並實現離線運行。用戶可靈活在多個模型之間切換，兼顧了模型壓縮、推理性能，解決了部署與優化的複雜性。公司表示，該方案不僅能夠滿足用戶對隱私和實時性的需求，還極大降低了AI大模型推理成本。