https://arxiv.org/abs/2501.09891
We explore an evolutionary search strategy for scaling inference time compute in Large Language Models. The proposed approach, Mind Evolution, uses a language model to generate, recombine and refine candidate responses. The proposed approach avoids the need to formalize the underlying inference problem whenever a solution evaluator is available. Controlling for inference cost, we find that Mind Evolution significantly outperforms other inference strategies such as Best-of-N and Sequential Revision in natural language planning tasks. In the TravelPlanner and Natural Plan benchmarks, Mind Evolution solves more than 98% of the problem instances using Gemini 1.5 Pro without the use of a formal solver.
우리는 대규모 언어 모델(LLM)에서 추론 시간 계산을 확장하기 위한 진화적 검색 전략을 탐구합니다. 제안된 접근 방식인 Mind Evolution은 언어 모델을 사용하여 후보 응답을 생성, 재조합 및 개선합니다. 이 접근 방식은 솔루션 평가자가 있을 때마다 기본 추론 문제를 형식화할 필요성을 없애줍니다. 추론 비용을 제어하면서 Mind Evolution은 자연어 계획 작업에서 Best-of-N 및 Sequential Revision과 같은 다른 추론 전략보다 성능이 훨씬 뛰어나다는 것을 알았습니다. TravelPlanner 및 Natural Plan 벤치마크에서 Mind Evolution은 공식 솔버를 사용하지 않고 Gemini 1.5 Pro를 사용하여 문제 인스턴스의 98% 이상을 해결합니다.
출처: “번역해”. Gemini Advanced 2.0 Experimental Advanced. 2025.01.30.