Octopus v4: Graph of language models

 

Abstract

Function token을 통해 다른 모델을 호출하여 추론

 

[Nexa AI Blog]

[Hugging Face]

[Github]

[arXiv](2024/04/30 version v1)

 

 

 

Methodology

Language model for classification from Octopus v2

Octopus v2는 주어진 query에 대해 function, parameter를 생성한다.

---

Language models as nodes in graph

그래프는 node, edge로 이루어져 있으며

master node N^m이 주어진 작업에 대해 적절한 worker node N^w를 선택하여 query를 전달한다.

---

Functional token and dataset collections

Octopus v2의 function token과 마찬가지로 다른 모델을 function으로 취급하여 활성화할 수 있다.

---

System design of language model graph

• System design of language model graph: 각 worker node는 개별 소형 언어 모델이고 kubernetes를 통해 worker node를 관리할 것을 제안
• Master node deployment: Master node는 edge device에 배포할 수 있는 소형 모델이며 LoRA를 통해 function token을 확장할 것을 제안
• Communication: 데이터 저장과 같은 니즈를 지원하기 위해 Redis와 같은 in-memory storage를 사용할 것을 제안

 

 

 

Experiments

이런 식으로 function token을 통해 다른 모델을 호출한다.