pmarca поделился информацией о модели с 3,3 миллиардами параметров, обученной на исторических текстах

robot
Генерация тезисов в процессе

ME Новости, сообщение от 3 апреля (UTC+8): в последние дни известная персона pmarca поделилась в социальных сетях информацией о предобучении модели. Согласно тому, что она опубликовала, для предобучения этой модели использовался корпус текстов из Huggingface и Internet Archive — книги и газеты США и Великобритании, выпущенные до 1 января 1900 года. После обширной фильтрации около 22 миллиардов токенов были собраны в обучающий корпус. В статье упоминается, что лучшая контрольная точка этой модели — это модель с 3,3 миллиардами параметров. pmarca заявил, что с 1 декабря 2022 года он ждал подобных вещей. (Источник: InFoQ)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Горячее на Gate Fun

    Подробнее
  • РК:$2.22KДержатели:1
    0.00%
  • РК:$2.23KДержатели:1
    0.00%
  • РК:$2.23KДержатели:0
    0.00%
  • РК:$2.24KДержатели:2
    0.24%
  • РК:$2.23KДержатели:2
    0.00%
  • Закрепить