Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models (Think-and-Execute)

Abstract

Task-level logic에 대한 의사 코드를 생성하고 코드 실행을 시뮬레이션하여 논리적으로 추론

 

[arXiv](2024/04/03 version v1)

 

 

 

Think-and-Execute

---

THINK: Describing the Underlying Logic of a Task in a Pseudocode Format

다른 작업의 질문, 분석, 의사 코드 예제를 제공하면 instructor LM I가 목표 작업을 분석하고 의사 코드를 생성한다.

의사 코드를 사용하는 이유는 논리를 글보다 더 효율적이고 명확하게 전달할 수 있기 때문이다.

의사 코드: 생성된 도형의 모양 분석

---

EXECUTE: Simulating the Execution of Pseudocode Prompt for an Instance

Reasoner LM R은 의사 코드 P의 실행 과정을 따라 각 단계의 print()의 출력에 해당하는 순차적인 출력 목록 O = {o₁, o₂, ..., o_k} (o_k가 최종 답변)를 예측한다. 

 

 

 

Results

---

Ablation