본문 바로가기

전체 글

 (302)
Chain of Draft: Thinking Faster by Writing Less ■ LLM은 CoT prompting과 같은 step-by-step reasoning 방법을 통해 complex reasoning tasks을 해결하는 데 뛰어난 성능을 보여 왔다. ■ 그러나 인간은 보통 더 효율적인 전략을 사용하는데, 핵심 정보만을 담은 간결한 intermediate thoughts를 draft로 적어 나간다. ■ 논문에서는 인간의 cognitive process에서 영감을 받은 새로운 패러다임으로 Chain of Draft (CoD)를 제안한다. CoD는 LLM이 task를 해결하는 과정에서 최소한이면서도 필요한 정보를 담은 intermediate reasoning outputs을 생성한다. ■ CoD는 verbosity를 줄이고 critical insights에만 집중함으로써, ..
[TokenSkip] Controllable Chain-of-Thought Compression in LLMs ■ CoT는 LLM의 reasoning capabilities을 향상시키는 데 효과적이지만, LLM decoding의 autoregressive 특성 때문에 CoT outputs이 길어질수록 inference latency도 선형적으로 증가한다. ■ 저자들은 CoT outputs 내 토큰들의 semantic importance를 분석하여, 각각의 토큰이 reasoning에 기여하는 정도가 서로 다르다는 것을 밝힌다. ■ 이러한 insight를 바탕으로 중요도가 낮은 토큰을 LLM이 선택적으로 skip할 수 있도록 하여 controllable CoT compression이 가능한 TokenSkip을 제안한다. ■ Qwen2.5-14B-Instruct 모델에 적용했을 때, TokenSkip은 GSM8K에서 ..
[CoT-Valve] Length-Compressible Chain-of-Thought Tuning ■ CoT는 모델의 reasoning 능력을 크게 향상시키지만, long chains을 생성하기 때문에 inference 비용도 상당히 증가한다.■ 논문에서 제안하는 CoT-Valve는 모델이 서로 다른 길이의 reasoning chains을 생성할 수 있도록 설계된 새로운 tuning 및 inference strategy이다. ■ 이를 달성하기 위해 parameter space 안에서 특정한 하나의 방향을 찾아내고, 찾아낸 방향을 활용하여 CoT의 길이를 효과적으로 제어한다. ■ 실험 결과, CoT-Valve는 reasoning chain의 길이를 성공적으로 제어하고 압축할 수 있었으며, prompt-based의 길이 제어보다 더 좋은 성능을 보였다. [2502.09601] CoT-Valve: Le..
Break the Chain: Large Language Models Can be Shortcut Reasoners ■ 논문에서는 "break the chain" strategies을 통해 human-like heuristics과 shortcuts을 language model에 통합하는 방법을 제안한다. ■ shortcuts 사용을 유도하는 새로운 zero-shot prompting strategies을 개발했으며, 이를 통해 LM이 reasoning clues을 빠르게 활용하고 detailed procedural steps을 건너뛸 수 있도록 한다. [2406.06580] Break the Chain: Large Language Models Can be Shortcut Reasoners Break the Chain: Large Language Models Can be Shortcut ReasonersRecent..
[FDD] Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation ■ LLM은 뛰어난 reasoning capability를 보이며, 다양한 tasks에서 SOTA 성능을 달성하고 있다. 그러나 LLM은 수십억 개의 parameter로 인해 계산량과 memory 요구량이 매우 크며, 이 때문에 resource-constrained environment에서 배포하기 어렵다. ■ promising solution은 knowledge distillation으로, LLM이 자신의 reasoning capability를 SLMs (≤ 1B parameters)로 transfer시키는 것이다. ■ 기존 방법들은 주로 distillation dataset을 위해 고품질 reasoning rationale을 생성하는 데 집중하지만, 데이터의 양과 quality가 갖는 역할을 종종 ..
Deduplicating Training Data Makes Language Models Better ■ 기존의 language modeling datasets에 많은 수의 near-duplicate examples과 long repetitive substrings이 포함되어 있으며, 그 결과 이러한 데이터셋으로 학습된 LMs이 아무런 prompt 없이 생성하는 출력의 1% 이상이 training data로부터 그대로 복사된(verbatim) 내용인 것으로 나타났다. ■ 논문에서는 training dataset을 deduplicate하는 두 가지 도구를 제안한다. 예를 들어 C4에서는 61개 단어로 이루어진 하나의 영어 문장이 60,000번 넘게 반복되고 있었고, 이를 제거할 수 있었다. ■ deduplication을 적용하면 memorized text를 약 10배 적게 생성하는 모델을 학습시킬 수 있으..
Token-Budget-Aware LLM Reasoning ■ CoT reasoning은 문제를 여러 intermediate steps으로 분해함으로써 LLM 성능을 향상시키지만, 동시에 상당한 토큰 사용량을 발생시켜 비용 증가로 이어진다. ■ 논문에서는 각 문제의 reasoning complexity에 따라 reasoning tokens의 수를 동적으로 조정하는 token-budget-aware LLM reasoning 프레임워크를 제안한다. ■ 실험 결과, 저자들의 방법은 성능을 소폭만 감소시키면서 CoT reasoning의 토큰 비용을 효과적으로 줄였다. [2412.18547] Token-Budget-Aware LLM Reasoning Token-Budget-Aware LLM ReasoningReasoning is critical for large l..
The Benefits of a Concise Chain of Thought on Problem-Solving in Large Language Models ■ 논문에서는 Concise Chain-of-Thought (CCoT) prompting을 제안한다.■ Cot의 conciseness가 response length와 correct-answer accuracy에 어떤 영향을 미치는지 확인하기 위해 standard CoT prompt와 CCoT prompt를 비교한다. ■ GPT-3.5와 GPT-4를 이용하고, MCQA benchmark에서 이를 평가한다. ■ CCoT는 평균 response length를 약 48.70% 줄이면서도 problem-solving performance에는 거의 영향을 미치지 않는다. ■ 그러나 math problems에서는 GPT-3.5에 CCoT를 적용했을 때 성능이 27.69% 감소했다. [2401.05618] The..

티스토리툴바