수식은 LaTeX로 표현 가능했지만, 복잡한 표(table)나 그래프가 수학 분야 교육 컨텐츠 생성의 걸림돌이었는데요. 테스트는 해봐야겠습니다만, 멋진 기술이 나온 것 같습니다. 콴다(QANDA)의 경쟁기술이 될지도 모르겠습니다.
쉬운 설명
PenEcho는 종이에 낙서하듯 수식이나 그림을 그리면 옆에 AI가 답을 그려주는 프로그램이에요. 원래는 손으로 쓴 수식을 AI에게 물어보려면 그걸 다시 컴퓨터 언어(LaTeX 같은)로 옮겨 써야 했는데요, PenEcho를 쓰면 그냥 화면에 펜으로 쓰고 잠깐 멈추면 AI가 알아서 이해하고 바로 옆에 답을 그려줍니다. 마치 옆자리 친구가 내가 푼 문제를 슬쩍 보고 힌트를 그려주는 느낌이라고 보시면 됩니다.
요약
PenEcho는 손글씨, 수식, 도형, 회로도 같은 것을 캔버스 위에 그대로 그리면 AI가 그 내용과 배치까지 함께 읽어서 답을 만들어주는 오픈소스 프로젝트인데요. 기존에는 손으로 쓴 수식을 텍스트나 LaTeX으로 옮기고, 그림을 말로 풀어 설명해야 AI에게 질문을 할 수 있었습니다. 이 과정에서 시간이 많이 들 뿐 아니라, 원래 종이 위에서 무엇이 무엇 옆에 있었는지 같은 '공간적인 맥락'이 사라지는 문제가 있었죠. PenEcho는 이 번역 과정 자체를 없애는 걸 목표로 만들어졌습니다.
이 프로젝트가 흥미로운 이유는 AI와의 상호작용 방식을 채팅창이라는 좁은 틀에서 캔버스라는 더 넓은 공간으로 옮겼다는 점입니다. AI가 만든 결과는 확정된 필기와 바로 섞이지 않고 '초안' 형태로 따로 떠 있어서, 사용자가 마음에 들 때만 받아들이고 그 전까지는 자유롭게 옮기거나 크기를 바꾸거나 지울 수 있습니다. 또한 Moonshot AI의 Kimi 오픈소스 지원 프로그램의 공식 참여 프로젝트로 API 크레딧을 지원받고 있고, Codex CLI나 Claude Code CLI 같은 다른 AI 도구와도 연결해 쓸 수 있게 설계되어 있습니다.
활용 포인트
예를 들어 수학이나 물리 문제를 풀다가 막히는 학생이라면, 종이에 쓰듯 손으로 적분식을 쓰고 잠깐 멈추면 AI가 옆에 힌트나 다음 단계를 그려주니 문제 풀이 흐름이 끊기지 않습니다. 개발자나 엔지니어라면 회로도나 시스템 구조도를 대충 손으로 스케치한 뒤 AI에게 빠진 연결이나 개선점을 물어볼 때 유용한데요, 화살표가 어디로 가는지 말로 설명할 필요 없이 그림 그대로 맥락을 전달할 수 있습니다. 실제 사용을 원한다면 Node.js 20.3 이상 환경에서 npm으로 설치하거나 GitHub Releases에서 내려받을 수 있고, penecho configure 명령으로 사용할 LLM(예: Kimi, Codex, Claude)을 설정하면 됩니다.
기획자나 아이디어를 시각적으로 정리하는 창작자에게도 쓸모가 있는데요, 캔버스 툴바의 'Reasoning' 메뉴에서 상황에 맞게 AI의 추론 강도(낮음/중간/높음 등)를 즉석에서 바꿀 수 있어서, 빠른 아이디어 스케치에는 가벼운 응답을, 복잡한 구조 설계에는 깊은 응답을 요청하는 식으로 조절할 수 있습니다. 애니메이션 기능을 켜면 장면을 만들어 움직임까지 표현할 수 있지만, 이 경우 요청마다 토큰(AI가 처리하는 텍스트 단위) 비용이 조금 더 든다는 점도 참고하면 좋습니다.
주의 사항
PenEcho는 아직 활발히 개발 중인 오픈소스 프로젝트라 기능이나 설정 방식이 앞으로 바뀔 가능성이 있습니다. API 키 같은 인증 정보는 로컬 설정 파일(~/.penecho/config.env)에 평문으로 저장되므로 다른 사람과 공유되는 컴퓨터에서는 주의가 필요하고, 캔버스에 그릴 수 있는 장면 수(최대 20개)나 장면당 객체 수(최대 32개) 같은 기술적 제한도 있습니다. 또한 특정 모델(Kimi, MiniMax 등)에 따라 AI의 '생각 안 함(none)' 옵션이 실제로는 완전히 꺼지지 않는 등, 모델별로 동작이 조금씩 다르다는 점도 감안해서 사용하시는 게 좋습니다.
자체 검증
원문 자료를 종합해 보면, PenEcho가 손글씨·수식·도형을 캔버스 위에서 읽고 옆에 답을 그려준다는 핵심 설명, AI 결과가 별도의 초안 층으로 표시되어 사용자가 수락 전까지 자유롭게 조작할 수 있다는 내용, Moonshot AI의 Kimi 오픈소스 지원 프로그램 공식 멤버라는 점, Node.js 20.3 이상 환경과 npm 설치, Codex CLI·Claude Code CLI 연동 등의 세부 사항은 모두 자료2·자료3의 GitHub 문서 내용과 일치합니다. 캔버스 렌더링 방식(타일 단위 렌더링), 애니메이션 기능의 토큰 비용(약 500~600 토큰), 장면·객체 개수 제한 등도 architecture.md 문서에 그대로 나와 있는 내용이라 사실과 부합합니다. 다만 실제 사용 후기나 성능에 대한 제3자 평가는 원문에 포함되어 있지 않아 이 글에서도 다루지 않았습니다.
태그
#AI #오픈소스 #캔버스 #손글씨인식 #다이어그램 #생산성도구
원문
https://discuss.pytorch.kr/t/penecho-ai/11658
https://github.com/penecho/penecho
https://github.com/penecho/penecho/blob/main/docs/architecture.md