MIT의 최신 보고서는 기업들이 GenAI 도입에 막대한 투자를 하고 있음에도 불구하고 95%가 실질적인 가치를 얻지 못하는 (zero return) 'GenAI 디바이드(GenAI Divide)' 현상을 심층 분석합니다. 이 콘텐츠는 단순한 파일럿 단계를 넘어 실제 P&L 성과를 내는 소수 조직의 핵심 성공 패턴을 공개하며, 특히 학습 능력과 워크플로우 통합이 부족한 정적인 도구 대신 적응 가능한 에이전트 시스템으로 전환하는 구체적인 방법을 제시합니다. 지금 당장 정체된 AI 도입을 돌파하고 실질적인 비즈니스 성과를 창출하고 싶다면, 이 보고서가 제시하는 구매(Buy) 전략과 조직 설계의 통찰을 반드시 확인해야 합니다.
- starkly: very obviously and clearly
- brittle: intractable, unwieldly, unbelievable, precarious, crumbly, fragile. 다루기 힘든, 믿을 수 없는, 부서지기 쉬운.
5%만 millions의 가치를 뽑아내고 대다수는 측정가능한 수익의 임팩트를 못낸다. 이것은 모델 퀄리티나 규제가 아닌, approach에 의해 결정되는 것으로 보인다.
AI ㅡ 과거에 개인생산성은 높이되 수익은 높이지 못했었음. 60%는 평가단계까지 가고 20%는 파일럿도 하지만 5%만 실제 production까지 감.
대부분 실패 이유는 다루기힘든 워크플로우, 문맥상 학습 부족, 매일의 운영과 맞지 않음 등.
300이상의 실행을 분석해보니 GenAI Divide를 정의하는 4가지 패턴이 보임.
[1] 제한된 변화. 8개 섹터 중 2개에서만 구조적 변화 있음.
[2] 기업 모순. 큰 회사는 파일럿 볼륨을 리드하지만 스케일 업에서 뒤쳐짐.
[3] 투자 편향: 잘 보이는 기능에 투자하고, 투자대비 리턴이 큰 백오피스엔 투자 아함.
[4] 실행 이점. 외부 파트너십은 내부 빌드 보다 두배 높은 성공률.
가장 큰 배리어는 학습임. 대부분 GenAI 시스템은 피드백을 retain하지 못하고, 문맥에 맞게 못하고, 시간이 지나며 발전하는게 없음.
성공하는 buyer(엔터프라이즈, 중견기업, 작은 회사)들은 소프트웨어 벤치마크 보다 비즈니스 아웃컴에 기반해 툴을 평가하고 구체적인 프로세스 커스터마이징을 요구함.
builders (스타트업, 벤더사, 컨설팅사)가 이러한 기대를 충족시키면 멀티 밀리언 달러를 한달에도 벌어들임.
퍼포먼스 가장 좋은 조직은 특히 백오피스 운영에서 외부 에이전시 사용과 bpo에 돈 쓰던걸 줄여서 측정 가능한 saving이 생김.
또 어떤 데는 자동화된 아웃리치와 지능적 팔로우 시스템으로 높은 고객 리텐션과 세일즈 컨버젼을 성취한 곳도 보임.
learning-capable systems when targeted at specific process, can deliver real value, even without major organizational restructuring.
1. GenAI 디바이드 개요: 높은 도입률, 낮은 변혁
- GenAI 디바이드 현상: 기업들이 GenAI에 막대한 투자를 했음에도 불구하고, 95%의 조직은 실질적인 가치(P&L 영향)를 얻지 못하고 있습니다.
- 도입과 변혁의 불일치: ChatGPT, Copilot 같은 범용 도구는 널리 채택되었으나(80% 이상 탐색), 이는 주로 개인 생산성 향상에 그치며 P&L 성과로 이어지지 못하고 있습니다.
- 엔터프라이즈 시스템의 실패: 맞춤형 또는 벤더 제공 엔터프라이즈급 시스템은 평가(60%) 대비 실제 파일럿 단계(20%)나 프로덕션 단계(5%) 진입률이 매우 낮습니다.
- 주요 실패 원인: 파일럿 단계에서 정체되는 핵심 장벽은 인프라, 규제, 인재가 아닌 '학습 능력(Learning Gap)'입니다. 대부분의 시스템은 피드백을 유지하거나, 상황에 적응하거나, 시간이 지남에 따라 개선되지 못합니다.
- 산업별 변혁 격차: 9개 주요 산업 중 기술(Tech)과 미디어(Media) 두 산업만이 명확한 구조적 변혁 징후를 보이며, 나머지 7개 산업은 실험 단계에 머물러 있습니다.
9 중 7의 섹터는 구조 변화가 미미함. Generic tools like ChatGPT는 많이 사용되지만 custom solutions는 뒤쳐지고 있음. 통합 복잡성과, 기존 워크플로우와 맞지 않아서.
2. 파일럿이 정체되는 이유: 학습 격차와 사용자 선호도
- 파일럿-프로덕션 간의 가파른 하락: 작업별 GenAI 도구의 성공적 구현율은 5%에 불과하며, 이는 GenAI 디바이드의 가장 명확한 징후입니다.
- 범용 LLM의 역설: ChatGPT와 같은 범용 LLM은 유연성, 친숙함으로 긍정적 평가를 받지만, 맞춤형 엔터프라이즈 도구는 종종 취약하거나(brittle) 운영과 동떨어져 있다는 평가를 받습니다.
- 사용자 경험의 차이: 사용자들은 개인 작업에는 ChatGPT를 선호하지만, 기업 내 도입된 AI 도구에는 회의적입니다. 이는 개인 작업에서 요구되는 학습 및 기억 능력이 기업 시스템에 부족하기 때문입니다.
- 핵심 격차: 메모리 및 적응성: 사용자는 복잡하거나 장기적인 작업(예: 민감한 계약서 작업)에는 AI보다 인간 동료(90% 선호)를 선호합니다. 이는 GenAI가 맥락을 잊고(forgets context), 학습하지 않으며(doesn't learn), 진화하지 못하기(can't evolve) 때문입니다.
- 에이전트 AI의 역할: 에이전트 AI(Agentic AI)는 영구적인 메모리와 반복적인 학습을 내재화하여 이 학습 격차를 직접적으로 해결합니다.
변혁의 상태를 quantify하기 위해 AI Market DIsruption Index를 개발함. 5개의 관찰가능한 인디케이터들.
1) market share volatility among top incumbents (2022-2025) *incumbent: 재임중인, 현직의.
2) revenue growth of AI-native firms founded after 2020
3) Emergence of new AI-driven business models
4) Changes in user behavior attributable to GenAI
5) Frequency of executive org chagnes attributed to AI tooling
실패 하는 95%쪽은 워크플로우에 적용하기 힘든 static tool에 투자함.
generic LLM tools는 파일럿에서 실제 임플리멘테이션으로 83%나 이뤄짐.
custom or vendor-pitched AI tools는 그닥 반응이 안 좋음. 데모는 많이 봐도 그냥 wrapper거나 과학 프로젝트라며. 지속적인 가치를 주는건 거의 없음.
mid-market 회사들은 90일이면 파일럿에서 full implementation으로 감. 큰 기업은 9개월 이상 걸림.
기업에서의 생성형AI에 관한 myth 5가지를 바로잡는 내용 5가지.
- 해고는 제한적이다.
- 변혁은 드물다.
- 대기업들이 느린건 아니고 엄청 열정적이고 고민 많이 하고 있음.AI 솔루션 도입에
- 모델 성능이 아니라 AI가 학습 못 하고 워크플로우에 안 맞는게 문제임.
- 내부에서 만드는건 두 배 더 실패한다.
3. 그림자 AI 경제와 투자 편향
- 그림자 AI 경제(Shadow AI Economy): 공식적인 IT 승인 없이 직원들이 개인 AI 도구(ChatGPT 등)를 사용하여 업무를 자동화하고 있으며, 이는 공식 도입률(40%)보다 훨씬 높은 90%의 직원이 정기적으로 개인 AI 도구를 사용하는 수준입니다.
- 투자 편향: GenAI 예산의 약 50%가 영업 및 마케팅에 집중되지만, 실제 ROI는 백오피스 자동화에서 더 높게 나타납니다.
- ROI의 비가시성: 백오피스(법무, 재무, 조달)의 효율성은 측정하기 어려워(예: 규정 준수 감소) 가시성이 높은 프론트 오피스 기능에 비해 과소 투자되는 경향이 있습니다.
- 실질적 ROI: 디바이드 횡단 조직은 내부 인력 감축보다는 BPO(업무 처리 아웃소싱) 제거, 외부 에이전시 비용 절감 등 외부 지출 감소를 통해 가시적인 가치를 창출합니다.
anecdotal: 일화적인, 개인적인 경험에 기반한. 주관적인.
가상의 예산분배 양상은 업종별로 다르긴 했음.
- 제조나 헬스케어는 세일즈 마케팅에 거의 안 쓰고 오퍼레이션에 더 씀.
- 테크와 미디어 회사는 마케팅, 콘텐트, 개발자 생산성에 씀.
- 전문 서비스는 문서 자동화와 법무/컴플라이언스 툴에 씀.
streamlined workflow 간소화된 업무 흐름
several degrees removed from bottom-line impact : refers to an action, project, or function that has only an indirect effect on a company's financial profit. Unlike a direct sales activity that immediately boosts revenue, these activities require a long, complex chain of events before their financial benefit is realized, if ever.
- Bottom-line: This is a business term for net income
- Degrees of separation: This concept comes from sociology, suggesting that everyone in the world is connected through a short chain of acquaintances. In a business context, it describes the distance, or number of causal steps, between an action and its ultimate financial result.
- Several degrees removed: This signifies that the connection to profit is distant and indirect, not immediate or obvious
perpetuate 영속시키다, 영구화시키다, 고착시키다.
백오피스에 더 큰 ROI 기회가 있음.
너무 많은 AI제안이 들어오니까, 제품 퀄리티 보다는, 어떤 AI를 쓸지의 결정은 주변의 추천에 기반하게 됨. trust and social proof가 구매 결정의 결정적 팩터임. 추천, 이전의 관계들, VC의 소개. 동료의 추천, 네트워크에서 레퍼럴 받음 등.
사람들은 새로운 기술 도입에 대한 거부감이 큼.
모델 아웃풋 퀄리티도 문제임 (의외의 관찰 결과.)
사람들은 업무할 때 비스포크 사내 LLM보다 범용적 챗지피티를 더 신뢰하고 더 익숙해함. 내부에 같은 기술이라 들어도 챗지피티 선호.
챗지피티의 한계는 생성형AI 격차의 뒤에 있는 핵심 이슈를 드러낸다. 얘네는 문맥을 까먹고, 학습 못 하고, 진화를 못 함. 미션이 중요한 일에 사람들은 인간을 선호함. 구조적 갭임. 생성형AI는 메모리와 적응력이 부족함.
It doesn't learn from our feedback.
왜 기업들이 AI격차의 잘못된 편에 아직 남아 있냐면 그 이유는 AI들이 브레인스토밍 하거나 첫 드래프트 쓰기엔 좋은데 같은 실수 반복하고, 매 세션마다 문맥 인풋을 엄청 많이 넣어야 하니까... 걔네는 지식 누적이 안되고 시간에 따른 발전이 없음.
지속성과 문맥적 인지가 부족함.
complex profjects (multi-week work, client management) 는 인간에게 맡기겠단 대답이 90%
The dividing line isn't intelligence. it's memory, adaptability, and learning capability. the exact characteristics that separate the two sides of the GenAI Divide.
에이전틱AI는 지속적인 메모리를 가지고 있음. 반복학습이 가능한 시스템임.
4. 성공적인 빌더(벤더)의 전략
- 적응형 시스템 구축: 성공적인 빌더들은 피드백으로부터 학습하고 적응하는 내장형 시스템을 구축합니다.
- 핵심 성공 요소: 학습, 메모리, 워크플로우 적응 문제를 적극적으로 해결하는 것이 중요하며, 내부 구축(Internal builds)보다 외부 파트너십이 성공률이 높습니다.
- 구매자의 요구사항: 구매자들은 신뢰할 수 있는 벤더, 워크플로우에 대한 깊은 이해, 지속적인 개선 능력, 명확한 데이터 경계를 중요하게 평가합니다. ㅡ 스타트업에 배팅해보기 보다는 기존 파트너가 ai 도입하는걸 기다린다는 기업들이 많음.
- 성공적인 진입 전략: 스타트업은 낮은 설정 부담과 즉각적이고 가시적인 가치를 제공하는 좁고 가치 높은 워크플로우에서 시작하여 점진적으로 핵심 프로세스로 확장해야 합니다.
- 신뢰 구축: 채널 파트너십, 이사회/자문위원 추천, 동료 네트워크를 통해 신뢰 장벽을 극복하는 것이 중요합니다.
- 시간 제약: 에이전트 AI와 메모리 프레임워크가 벤더 관계를 고착화시키므로, 디바이드 횡단 기회는 빠르게 좁아지고 있습니다 (약 18개월의 기회).
Domain Fluency and workflow integration matter.
focus on narrow but high-value use cases, integrate deeply into workflows and scale through continuous learning rather than broad feature sets.
DO: aggressive customization and alighnment with real biz painpoints .
start at workflow edges with significant customization, then scale into core processes.
스타트업들은 작게 시작해서 크게 확장해야함.
low configuration burden, 그리고 즉각적으로 보이는 가치. 이런 특징이 있으면 성공하는 툴임.
- 예: 통화 요약하는 보이스 AI, 계약이나 폼을 문서 자동화, 반복 작업용 코드 생성 등.
스타트업들은 주로 세일즈와 마케팅에서 작지만 중요한 워크플로우를 장악하며 성공함.
마이크로소프트 365는 persistent memory and feedback loop이 있음.
이런 학습가능한 에이전트는 데이터와 통합 깊이 둘 다 에서 해자를 만든다.
전환의 인프라는 MCP, A2A, NANDA 등. 조만간 Agentic Web이 나올거다.
18개월 안에 승부 난다.
5. 성공적인 바이어(기업)의 전략
- 구매 방식 전환: 성공적인 바이어는 SaaS 고객이 아닌 BPO 클라이언트처럼 행동하며, 딥 커스터마이징과 운영 결과에 기반한 벤치마킹을 요구합니다.
- 전략적 파트너십 우위: 전략적 파트너십(Buy)을 통한 배포 성공률은 내부 구축(Build) 대비 약 2배 높습니다 (각각 66% 대 33%).
- 조직 설계: 성공은 자원보다 권한 분산과 명확한 책임 소재에 달려 있으며, 전략적 파트너십이 내부 개발보다 성공률이 높습니다. ㅡ decentralize implementation authority but retain accountablity. 내부 개발 시도가 훨씬더 많지만 실패가 많고 전략적 파트너십이 훨씬 더 성공함. 외부적으로 만들어진 툴의 사용률이 두배 높음.
- 하향식/상향식 결합: 일선 관리자 및 파워 유저(Prosumers)가 사용 사례를 발굴하고 도구를 검증하며, 이를 경영진의 책임과 결합하여 채택을 가속화합니다.
- 실질적 ROI 영역: 가장 큰 가치는 고객 지원, 문서 처리, 외부 컨설팅/에이전시 비용 절감 등 백오피스 영역에서 발생합니다.
- 인력 영향: GenAI로 인한 인력 변화는 광범위한 해고보다는 고객 지원, 행정 처리 등 이전에 아웃소싱되었던 기능의 선택적 대체와 채용 제약 형태로 나타납니다. ㅡ non-core분야에 해고로 제한됨. 이 분야는 AI 도입 이전에도 사라질 위기에 처한 분야였음. AI로 인한 해고는 5-20%로 보임.
성공하는 바이어들은 AI스타트업들을 SW벤더사로 대하지 않고, 비즈니스 서비스 제공자로 대하였음. 컨설팅 펌이나 BPO에 사용하는 벤치마크랑 비슷하게. ㅡ deep customization, operational outcome에 집중함, 공진화로 생각함, lab이 아닌 frontline 매니저들로부터 AI 이니셔티브를 뽑아냄.
진짜 gain은 내부 직원을 자르는게 아니라 외부 에이전시사용을 줄이고 BPO를 대체하면서 발생함.
프론트 오피스 툴은 고나심을 받지만 백 오피스 툴은 돈을 절약한다.
ㅡ 프론트 오피스: Lead (잠재 고객) qualification speed (응대 속도) 40% faster , 고객 리텐션 10% 향상.
ㅡ 백 오피스: BPO 제거하여 매년 2-10밀리언 달러 절약, creative and content cost 관련 에이전시 예산 절감 30% , 리스크 매니지먼트에 쓰는 돈 매년 1밀리언 달러 줄어듬 (financial services에 주던 돈 절감)
고용 관련 변화는 주로 테크와 미디어 분야에 나타남. 고용 절감 예상됨.
그러나 헬스케어, 에너지, advanced industries는 고용 절감이 예상되지 않음.
채용 기준 변화: AI literacy, AI proficiency, AI tool proficiency를 중요한 채용 기준으로 삼고 있음.
AI system이 persistent memory를 가지게 되고, continuous learning을 할 수 있게 되고, autonomous tool integration이 되면, 현재 잠재적인 채용절감이 점진적으로 일어날수있음.
그전까지는 내부 재구성보다는 외부 비용 절감으로 나타날것임.
6. 미래 전망: 에이전트 웹의 등장
- 에이전트 웹(Agentic Web): 다음 단계는 개별 에이전트를 넘어, 자율 시스템들이 상호 발견, 협상, 조정을 수행하는 에이전트 웹의 출현입니다.
- 핵심 인프라: MCP(Model Context Protocol), A2A(Agent-to-Agent), NANDA와 같은 프로토콜이 이 에이전트 웹의 기반을 형성합니다.
- 변화의 본질: 이는 인간이 중재하던 프로세스에서 벗어나, 자율 시스템이 인터넷 생태계 전반에서 거래하고 조정하는 근본적인 변화를 의미합니다.
- 성공을 위한 선택: 디바이드 횡단 조직은 구매(Buy) 중심, 현장 관리자 권한 부여, 지속적인 적응 및 통합을 선택합니다.
- 정체된 조직의 경로: 정적인 도구 투자를 중단하고, 맞춤형 시스템을 제공하는 벤더와 파트너십을 맺으며, 화려한 데모보다 워크플로우 통합에 집중해야 합니다.
결론
GenAI divide를 잘 건너가는 기업들은 3가지를 다르게 한다.
1) they buy rather than build
2) empower line managers rather than central labs
3) select tools that integrate deeply while adapting over time
에이전틱 웹이 출현함.
a persistent, interconnected layer of learning systems that collaborate across vendors, domains, and interfaces.
NANDA, MCP, A2A는 에이전틱 웹의 초기 인프라스트럭쳐다.
2026년에는 기업들이 벤더 관계와 피드백 룹을 locking할거고 이 divide를 건너가는 윈도우는 더 좁아질거다.
다음 웨이브는 멋진 모델이 아니라 학습하고 기억 가능한 시스템들, specific process에 맞게 커스텀 빌트 된 시스템들이어야함.
post pilot AI economy에 지배적 포지션을 차지할 기회임.
constant 프롬프팅이 필요한 정적인 툴에 투자하지 마라.
flashy demo 대신 워크플로우 통합에 집중해라. custom system을 제공하는 벤더와 함께!
GenAI Divide는 영구적이지 않음. 건너가려면 다른 선택이 필요함. 기술, 파트너십, 조직 설계에 대한 다른 선택들이 필요.
댓글