Карпати делится рабочим процессом построения личной базы знаний с помощью LLM: основная часть токенов больше не тратится на написание кода, а на управление знаниями

Согласно мониторингу 1M AI News, соучредитель OpenAI Андрейдж Карпати в X поделился своим недавним открытием: построение личной базы знаний с помощью LLM ценнее, чем использование LLM для написания кода. В настоящее время большая часть его расхода токенов сместилась с операций по написанию кода на операции с знаниями.

Полный рабочий процесс состоит из пяти шагов:

1. Сбор данных: индексировать исходные документы — статьи, научные работы, репозитории кода, наборы данных, изображения и т. п. — в директорию raw/, затем с помощью LLM выполнять инкрементальную «компиляцию» в markdown wiki, включающую аннотации, обратные ссылки, классификацию понятий и взаимосвязи статей
2. Интерфейс просмотра: использовать Obsidian в качестве фронтенда для просмотра исходных данных, скомпилированного wiki и производных визуализаций; содержимое wiki полностью поддерживается LLM, человек почти не редактирует напрямую
3. Поисковый запрос: когда wiki накопится до определённого масштаба (в одном из его направлений исследований уже есть около 100 статей и 400000 слов), можно задавать LLM сложные вопросы, и LLM самостоятельно будет извлекать нужное из содержимого wiki для ответа. Он думал, что потребуется RAG, но автоматически поддерживаемые индексные файлы и аннотации от LLM уже достаточны для этого масштаба
4. Возврат результатов: результаты запросов генерируются в форматах markdown, слайдов Marp или графиков matplotlib; после просмотра в Obsidian они архивируются обратно в wiki, чтобы личное исследование продолжало накапливать опыт
5. Контроль качества: с помощью LLM регулярно проводить «проверку здоровья» wiki, выявлять несоответствия данных, дополнять недостающую информацию, находить связи между разными концепциями — и инкрементально повышать полноту данных

Карпати говорит, что он также дополнительно разработал некоторые инструменты, например простой поисковый движок для wiki: его можно использовать самому на веб-интерфейсе, а также можно передать LLM как командно-строчный инструмент для обработки более крупных запросов. Он считает, что на данный момент этот рабочий процесс — лишь «набор склеенных скриптов», но в его основе скрывается возможность «невероятного нового продукта». Более дальняя идея заключается в том, что для каждого поставленного перед передовой моделью вопроса можно будет отправить группу LLM, чтобы они автоматически построили временный wiki, сделали проверку качества, выполнили несколько итерационных раундов и в итоге выдали полный отчёт — «далеко сверх одного .decode()».