Octopus v2: On-device language model for super agent

 

Abstract

Function calling on-device model에서 calling과 parameter 생성을 결합하여 추론 시간을 크게 줄임.

 

[Model Card]

[arXiv](2024/04/03 version v2)

 

 

 

Methodology

 

Function 호출은 2-stage process를 수반한다.

 

1. 검색 모델을 통해 사용자 제공 query와 일치하는 function 찾기(e.g. app API, system API)
2. Function과 query를 기반으로 function의 parameter 생성

π = model

 

본문에서는 n개의 각 function에 대한 특수 토큰 <nexa_n>을 도입하고 GPT model이 function 예측과 parameter 생성을 동시에 수행하도록 한다.

 

다음과 같은 prompt template을 통해 생성된 데이터를 데이터셋에 통합하여 function을 예측할 수 있도록 한다.

---

Dataset collection

Android system, app, smart device management API를 수집하고 Google Gemini를 통해 샘플 생성.

 

 

 

Experiments

Google Gemma-2B 기반.

Octopus-0: 전체 모델 fine-tuning

Octopus-1: LoRA 사용

Octopus-2, 3: 전체 모델 +적은 데이터, 더 적은 데이터

 

정확도

 

추론 시간