Đã thấy một phân tích thú vị về chiến lược kiến trúc suy luận của một nhà cung cấp đám mây lớn.

Chúng đang chạy với một thiết lập mô-đun - chia các tác vụ suy luận thành các thành phần riêng biệt thay vì các máy chủ nguyên khối. Di chuyển thông minh để mở rộng quy mô.

Lớp định tuyến nhận biết KV-cache, có nghĩa là nó biết chính xác vị trí của các cặp khóa-giá trị được lưu trong bộ nhớ đệm trước khi chuyển hướng yêu cầu. Cắt giảm đáng kể tính toán dư thừa.

Điều thu hút sự chú ý của tôi: cơ sở hạ tầng của họ được xây dựng có mục đích để phục vụ lưu lượng sản xuất, không phải khối lượng công việc đào tạo. Con thú hoàn toàn khác.

Ngôi sao bắc đẩu của họ? Độ trễ nhất quán khi được tải trong thế giới thực. Không theo đuổi điểm chuẩn tổng hợp trông đẹp trên giấy tờ nhưng lại sụp đổ dưới áp lực.

Điều này cộng hưởng với cách các mạng phi tập trung cần suy nghĩ về kiến trúc nút - độ tin cậy so với các chỉ số phù phiếm.