쉬운 설명
AI 에이전트를 요리사에 비유해 볼까요? 모델 자체는 요리사의 '손맛'이고, '하네스'는 요리사가 일하는 '주방 동선과 레시피 순서'에 가깝습니다. 아무리 실력 좋은 요리사라도 주방이 엉망이고 레시피 순서가 뒤죽박죽이면 재료(토큰)를 훨씬 많이 낭비하게 되죠. 최근 연구와 업계 사례를 보면, AI 모델을 새로 학습시키지 않더라도 이 '주방 구조'만 잘 설계하면 토큰 비용을 30% 이상 아낄 수 있다는 걸 보여줍니다.
요약
최근 AI타임스에 소개된 '라이터(Writer)'라는 회사는 LLM을 미세조정(추가 학습을 통해 성능을 맞추는 작업)하지 않고도, 에이전트의 일 방식인 '오케스트레이션 구조'만 바꿔 토큰 사용량을 약 38%나 줄였다고 밝혔습니다. 여기서 에이전트는 스스로 계획을 세우고 필요한 도구를 써서 일을 처리하는 AI 프로그램을 말하는데요. 이런 에이전트 도입이 늘어나면서 기업들은 모델 성능보다 빠르게 늘어나는 토큰 비용을 더 큰 고민거리로 받아들이고 있습니다.
비슷한 시기에 발표된 논문 'The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI'도 같은 점을 짚고 있습니다. 이 논문에서 '하네스(harness)'는 에이전트가 일을 처리하는 시스템의 틀, 즉 지시를 나누는 법, 도구를 불러오는 시점, 결과를 정리하는 방식 같은 설계를 의미하는데요. 논문은 모델 성능 자체보다 이러한 하네스 설계가 실제 기업의 토큰 비용을 결정짓는 핵심 요인이라고 강조합니다. 결국 두 자료 모두 '모델을 교체하는 것'보다 '일을 시키는 방식을 다듬는 것'이 비용 절감에 훨씬 효과적이라는 메시지를 던지고 있어서, AI 교육 현장에서도 유익하게 참고해 볼 만합니다.
강의용 팁
수업을 진행할 때 '프롬프트만 잘 쓰면 된다'는 생각에서 한 걸음 더 나아가, 에이전트의 워크플로우 설계가 비용과 성능에 얼마나 큰 영향을 미치는지 직접 실습으로 보여주면 좋습니다. 예를 들어 같은 작업(예: 문서 요약 후 질문 답변)을 하나의 긴 프롬프트로 한 번에 처리하는 방식과, 단계를 나누어(요약 단계 → 검토 단계 → 답변 단계) 진행하는 방식을 비교하며 토큰 사용량과 결과 품질의 차이를 눈으로 확인해 보는 거죠.
그리고 '하네스'라는 개념을 처음 다룰 때는 어려운 기술 용어 대신 '작업 순서표'나 '업무 매뉴얼' 같은 쉬운 비유를 활용하면 학생들이 훨씬 쉽게 이해할 수 있습니다. 수업을 마무리할 때 실제 기업들이 모델 교체보다 구조 개선에 왜 더 집중하는지 토론해 본다면, 학생들이 AI 활용의 실무적 관점을 익히는 데 큰 도움이 될 것입니다.
주의 사항
라이터가 발표한 '38% 절감'이라는 수치는 특정 기업의 개별 사례에 바탕을 둔 결과이므로, 모든 AI 에이전트 서비스에 똑같이 적용된다고 단정하긴 어렵습니다. 또한 원문 기사 본문의 일부만 확인할 수 있었고, 논문 역시 PDF 전체 텍스트를 온전히 확인하지 못해 세부 수치나 상세 실험 조건은 추가 검토가 필요합니다. 아울러 '하네스'나 '오케스트레이션' 같은 용어와 관련 기술은 아직 업계 표준으로 완전히 정립되지 않아, 자료에 따라 정의가 조금씩 다를 수 있다는 점도 염두에 두시면 좋습니다.
자체 검증
기사에 담긴 '미세조정 없이 토큰 38% 절감'이라는 라이터의 주장은 AI타임스 기사 제목과 도입부에서 확인되는 사실입니다. 다만 기사 본문 일부가 잘려 있어, 구체적인 실험 방법이나 수치 계산 근거까지 완벽하게 확인하지는 못했다는 점을 알려드립니다. 논문 역시 제목('The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI')과 저자 정보, arXiv 등록 번호(2607.06906)는 메타데이터를 통해 확인했습니다. 하지만 PDF 본문이 압축된 형태로 되어 있어 세부적인 실험 결과나 정확한 수치까지 직접 검증해 보지는 못했습니다. 이에 따라 '오케스트레이션 설계가 토큰 경제성을 좌우한다'는 논문의 핵심 주제는 확인했으나, 구체적인 세부 근거는 추가 확인이 필요하다는 점을 명확히 밝힙니다.
태그
#AI에이전트 #토큰비용 #LLM #오케스트레이션 #AI교육 #라이터 #프롬프트엔지니어링
원문
https://www.aitimes.com/news/articleView.html?idxno=212983
https://arxiv.org/pdf/2607.06906