Команда исследователей Apple анонсировала новый фреймворк, известный как LaDiR, который значительно улучшает качество ответов больших языковых моделей (LLMs) в таких областях, как математическое мышление и генерация кода.
В недавнем исследовании, проведенном в сотрудничестве с Университетом Калифорнии, Сан-Диего, исследователи продемонстрировали, как LaDiR объединяет подходы диффузионных моделей и авторегрессии, что позволяет параллельно обрабатывать несколько путей рассуждений. Это не только улучшает точность генерации ответов, но и обеспечивает возможность исследования различных путей решения задач.
LaDiR работает следующим образом: во время обработки запроса модель генерирует скрытые блоки рассуждений, начиная с случайного начального паттерна и постепенно уточняя его до более связного ответа. При этом модель может одновременно обрабатывать несколько путей рассуждений, что предотвращает преждевременное сведение всех возможностей к одному идее.
Первые результаты применения LaDiR показали, что на тестах по математике и решению головоломок этот фреймворк значительно превосходит существующие подходы, обеспечивая более надежные и точные выводы, даже в сложных задачах. В частности, результаты по генерации кода на предметах, таких как HumanEval, также были впечатляющими.
Этот новый фреймворк станет важным шагом вперед в области искусственного интеллекта и сможет помочь разработчикам создать более мощные и гибкие языковые модели.
Фото обложки: NIKOLAY GLEBOV / Unsplash