A equipa de investigação da ServiceNow lançou recentemente o modelo Apriel-1.6-15B-Thinker, que é realmente impressionante — com apenas 15 mil milhões de parâmetros consegue obter resultados ao nível dos seus pares, reduzindo o tamanho em 15 vezes. Ainda mais notável é o facto de 15% dos dados de pré-treino serem impulsionados pela NVIDIA, uma abordagem de optimização de computação que merece a nossa atenção.
Se este caminho de alto desempenho com modelos pequenos se mostrar viável, poderá ter um impacto significativo na configuração do mercado de computação de IA. Afinal, neste momento todos estão a gastar fortunas a aumentar o número de parâmetros, por isso, uma solução que faça o mesmo com menos recursos é, sem dúvida, mais atractiva.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
12 Curtidas
Recompensa
12
5
Repostar
Compartilhar
Comentário
0/400
ShibaMillionairen't
· 14h atrás
Redução de volume em 15 vezes? Se isto realmente conseguir funcionar de forma estável, o custo de computação será reduzido para metade.
Ver originalResponder0
AirdropHunterXM
· 14h atrás
15B consegue mesmo equiparar-se a um grande modelo? Se isto realmente conseguir fornecer resultados estáveis, o custo de computação cai para metade.
Ver originalResponder0
wagmi_eventually
· 14h atrás
Conseguir lançar com apenas 15B, isto é que é o caminho certo, finalmente há alguém que não se limita a acumular parâmetros.
Ver originalResponder0
GweiWatcher
· 14h atrás
Caramba, uma redução de volume de 15 vezes e ainda consegue o mesmo efeito, se isto realmente for implementado, os fabricantes de GPU vão chorar.
Ver originalResponder0
WhaleWatcher
· 14h atrás
Reduzir o volume em 15 vezes e ainda funcionar, isso sim é que é verdadeira competência, muito melhor do que aquelas estruturas vistosas com dezenas de milhares de milhões de parâmetros.
A equipa de investigação da ServiceNow lançou recentemente o modelo Apriel-1.6-15B-Thinker, que é realmente impressionante — com apenas 15 mil milhões de parâmetros consegue obter resultados ao nível dos seus pares, reduzindo o tamanho em 15 vezes. Ainda mais notável é o facto de 15% dos dados de pré-treino serem impulsionados pela NVIDIA, uma abordagem de optimização de computação que merece a nossa atenção.
Se este caminho de alto desempenho com modelos pequenos se mostrar viável, poderá ter um impacto significativo na configuração do mercado de computação de IA. Afinal, neste momento todos estão a gastar fortunas a aumentar o número de parâmetros, por isso, uma solução que faça o mesmo com menos recursos é, sem dúvida, mais atractiva.