쉬운 설명
요즘은 검색창에 키워드를 직접 치기보다, 챗GPT나 퍼플렉시티 같은 AI에게 "이 중에서 뭐가 제일 좋아?"라고 물어보고 그 답변을 그대로 믿는 경우가 참 많아졌습니다.
하지만 AI는 웹사이트를 사람처럼 눈으로 예쁘게 보는 게 아니라, 텍스트와 데이터 구조만 빠르게 훑어본다는 점이 문제입니다. 아무리 화려하고 예쁘게 꾸민 홈페이지라도 AI 눈에는 그저 읽기 힘든 미로처럼 보일 수 있거든요. 결국 AI가 제대로 이해하지 못한 서비스는 추천 후보에서 아예 빠져버리게 됩니다.
그래서 이제는 사람을 위한 SEO(검색엔진 최적화)뿐만 아니라, AI가 쉽고 정확하게 읽을 수 있도록 돕는 AEO(답변 엔진 최적화)라는 새로운 준비가 꼭 필요해진 거죠.
요약
이번 글은 한 회사가 실제로 경험한 사례를 바탕으로 하고 있습니다. 웹 서버 로그를 분석해 보니 전체 트래픽의 52%가 사람이 아닌 AI 에이전트, 서치봇, 자동화 스크립트에서 발생했다고 해요. 심지어 구글 검색 상위 3위 안에 들었는데도 신규 구매 전환율은 오히려 35%나 떨어졌다고 합니다.
원인을 파악해 보니, 자바스크립트로 복잡하게 만들어진 사이트 특성 때문에 AI 에이전트들이 화면이 다 그려지기 전 빈 페이지만 가져갔거나, 아예 보안 시스템(WAF)에서 악성 봇으로 오해해 차단하고 있었던 거죠.
이 사례가 의미 있는 이유는 단순한 기술 문제 해결을 넘어, 웹을 이용하는 '주요 고객'이 사람에서 AI 에이전트로 이동하고 있다는 변화를 보여주기 때문입니다. 구글 검색 순위가 아무리 높아도 AI가 내 페이지를 읽지 못하면 사용자에게 추천되지 않고, 결국 매출로도 이어지지 않는 셈입니다.
결국 이 회사는 자바스크립트 없이도 잘 읽히는 깔끔한 마크다운, 구조화된 메타데이터(JSON-LD), 바로 호출할 수 있는 API 스펙(OpenAPI) 등을 갖춘 'AEO 전용 백엔드'를 새로 구축했다고 합니다.
활용 포인트
개발자나 백엔드 담당자라면 지금 바로 서비스 페이지를 무헤드리스 크롤러 입장에서 점검해 보시는 걸 추천합니다. 예를 들어 curl 명령어로 페이지를 요청했을 때 실제 내용 대신 빈 <div id="root"></div>만 나온다면, AI 에이전트도 똑같이 빈 화면만 읽어간다는 뜻입니다. 이럴 때는 서버사이드 렌더링(SSR)을 강화하거나, AI가 읽기 편한 정적 마크다운 페이지 및 JSON-LD 구조화 데이터를 별도로 제공하는 방법을 고민해 볼 수 있습니다.
기획자나 마케터라면 robots.txt 파일과 WAF(보안 방화벽) 설정을 인프라·보안팀과 함께 살펴볼 필요가 있습니다. OpenAI나 Anthropic 같은 주요 AI 크롤러 IP가 실수로 403 오류를 받으며 차단되고 있지는 않은지 로그를 확인해 보는 것이 좋은 시작점이 됩니다.
창작자나 학습자에게도 이 흐름은 유용한 힌트가 됩니다. 블로그나 포트폴리오 사이트를 다듬을 때 화려한 애니메이션보다는 명확한 텍스트 구조, 제목 태그, 요약문을 잘 챙기는 것이 AI에게 훨씬 잘 읽힙니다. 실제로 서비스 소개 페이지의 요금제나 핵심 기능을 표나 명확한 문단으로 깔끔하게 정리해 두는 것만으로도, AI가 답변을 만들 때 내 콘텐츠를 정확히 인용할 확률이 크게 높아집니다.
주의 사항
이 글은 특정 회사의 경험과 주장을 담은 후기 형태의 내용입니다. 따라서 트래픽 52%가 비인간 요청이라거나 전환율이 35% 하락했다는 수치는 해당 회사의 특정 환경에서 측정된 결과이며, 모든 업계에 그대로 적용하기는 어렵습니다.
또한 AEO라는 개념도 아직 완벽한 업계 표준으로 자리 잡은 것이 아니라 계속 발전하는 흐름입니다. 그러다 보니 Cloudflare의 'Agent Readiness' 같은 관련 도구나 평가 지표도 언제든 달라질 수 있습니다. 실제 서비스에 적용하기 전에는 반드시 최신 공식 문서를 다시 한번 확인해 보시는 것이 안전합니다.
자체 검증
원문에서 다룬 핵심 내용들, 즉 트래픽의 52%가 비인간 요청이었다는 점, 구글 상위 노출에도 전환율이 급락했다는 점, React 기반 사이트에서 하이드레이션 전에 크롤러가 빈 화면을 가져갔다는 점, WAF가 AI 크롤러 IP를 오인해 403으로 차단했다는 점은 모두 본문의 사실에 기반하여 왜곡 없이 반영했습니다.
다만 이러한 수치들이 업계 전반의 평균인지, 아니면 해당 회사의 단일 사례인지는 원문에서도 따로 검증하고 있지 않으므로, 이번 윤문에서도 '한 회사의 실제 사례'라는 점을 분명히 해서 설명했습니다.
태그
#AI #AEO #SEO #웹개발 #백엔드 #검색엔진최적화 #AI에이전트
원문
https://it-trends-board.web.app/post/tYpfxNrbMnojlErwDd1W
참고자료
Cloudflare AI Crawl Control 및 봇 관리 공식 문서