딜로이트 리스크자문본부 파트너 역임, RIMS 리스크관리협회 부문대표 RIMS.org
1. ‘프롬프트’, 구원자인가 신기루인가
최근 국내 한 경제지는 ‘똑같은 GPT를 쓰는데 왜 내 AI만 멍청할까’라는, 시대의 정곡을 찌르는 질문을 던졌다.¹ 이는 생성형 AI가 폭발적으로 보급된 후, 대한민국 직장인들이 마주한 현실적 고민을 정확히 반영한다. AI를 쓰느냐 마느냐의 원초적 논쟁이 끝난 자리에, ‘어떻게 잘 쓸 것인가’라는 더 복잡하고 본질적인 과제가 들어선 것이다. 바로 이 지점에서 개인과 조직의 생산성을 가르는 새로운 기준, 이른바 ‘AI 디바이드’가 유령처럼 우리 곁을 배회하기 시작했다.
이 불안과 낙오의 공포가 시장을 움직이고, 시장은 언제나 그랬듯 가장 직관적인 해결책을 전면에 내세운다. 바로 프롬프트 엔지니어링이다. 어떻게 질문하고 지시해야 AI로부터 더 똑똑하고 정확한 답변을 얻어낼 수 있는가. 그 ‘마법 같은 비법’에 대한 대중의 열망은 뜨겁다. 이를 증명하듯 서점가에는 관련 서적들이 홍수처럼 쏟아지고, 각종 기업 교육 프로그램은 앞다투어 ‘프롬프트 전문가’를 양성하겠다고 나선다.
가령 이런 식이다. “화장품 마케팅 전략 짜줘.” 이처럼 무성의한 질문에 AI가 내놓을 수 있는 건 고작 대학생 리포트 수준의 ‘맹물’ 정보다. 하지만 여기에 ‘20년차 마케터’라는 역할과, ‘Z세대 비건 브랜드’라는 구체적 맥락, ‘보고서 형식’이라는 명확한 틀을 씌우는 순간, AI는 제법 그럴싸한 전문가급 결과물을 토해낸다. 프롬프트는 닫힌 문을 여는 열쇠이자, 새로운 시대의 권력처럼 보인다. 대중은 열광하고, 이 명제는 의심할 여지 없는 시대의 상식이자 화두가 되었다.
2. 프롬프트 기술의 시효: 배우는 순간 낡은 지식이 되다
하지만 우리가 후방에서 프롬프트 작성의 ABC를 익히는 동안, 기술의 최전선에서는 전혀 다른 보고가 올라오고 있다. AI 전문가 조단 깁스(Jodan Gibbs)는 “프롬프트 엔지니어링은 죽었다”는, 다소 도발적인 진단을 내린다.² 이는 단순한 수사가 아니다. AI라는 기술의 본질적 진화 방향에 대한 냉철한 관찰의 결과다.
깁스의 관점에서, 우리가 공들여 만드는 장황한 프롬프트는 사실 ‘덜 똑똑했던’ 과거의 AI를 다루기 위한 보조바퀴에 불과하다. 과거의 프롬프트 엔지니어링은 AI에게 ‘어떻게(How)’ 생각하고 행동할지 단계별로 지시하는 명령적 방식에 가까웠다. 하지만 최신 LLM(거대언어모델)은 사용자의 짧은 문장과 대화의 흐름 속에서 그 ‘진짜 의도’를 간파하는 능력이 극적으로 향상되면서, 이제 ‘무엇(What)’을 원하는지만 명확히 알려주는 선언적(Declarative) 방식으로도 충분해졌다는 것이다.
이러한 변화의 핵심은 가치의 축이 ‘교묘한 지시’에서 풍부한 컨텍스트로 이동했다는데 있다. 깁스가 말하는 미래는, 사용자가 몇 줄의 프롬프트를 잘 쓰는 능력이 아니라, AI에게 대화 기록, 관련 문서, 데이터 파일 등 판단에 필요한 정보를 충분히 제공하는 컨텍스트 스터핑이 훨씬 더 중요해지는 시대다. 이는 AI에게 지시를 내리기 전, 관련 배경 정보를 미리 풍부하게 제공하여 답변의 정확도와 깊이를 높이는 기법을 말한다. AI가 똑똑해질수록, AI를 가르치려 들기보다 좋은 재료를 제공하는 요리사의 역할이 더 중요해진다는 것이다.
앞서 제시한 ‘잘 쓴 프롬프트’를 다시 보자. 깁스의 시각이라면 그 긴 주문은 비효율의 극치다. 이미 AI와 해당 브랜드에 대한 정보(컨텍스트)를 공유했다면, 필요한 것은 다음과 같은 간결한 선언적 대화다.
“좋습니다. 그럼 우리 비건 브랜드의 3개월 인스타그램 성장 전략을 구체화하죠. 목표는 팔로워 5만 명입니다. 인플루언서 협업 중심으로 보고서를 만들어주세요.”
‘20년차 마케터’라는 역할 부여는 왜 생략되었는가? ‘보고서 작성’이라는 과업(Task) 자체가 AI로 하여금 스스로 전문가의 페르소나를 추론하게 만들기 때문이다.
깁스는 이 현상의 이면에 있는 더 큰 흐름으로 ‘추상화’를 지목한다. 뛰어난 기술일수록 그 복잡한 내부 작동을 사용자로부터 숨긴다는 원칙이다. 소수의 AI 전문가와 개발자가 복잡한 프롬프트를 연구하고, 이를 대다수 사용자가 쓸 수 있는 간편한 버튼이나 메뉴로 포장하는 것. 이것이 바로 AI 제품 개발의 핵심 방향이라는 것이다.
가령 우리가 AI 이미지 편집기에서 ‘배경 제거’ 버튼을 누르는 행위는, 사실 내부적으로 ‘이미지 A에서 주요 피사체를 식별하고, 그 경계를 따라 정교한 마스크를 생성한 뒤, 배경에 해당하는 픽셀을 투명하게 처리하라’는 매우 정교한 프롬프트를 실행하는 것과 같다. 사용자는 더 이상 마법 주문을 외울 필요가 없다. 잘 설계된 제품이 사용자를 대신해 주문을 외워주기 때문이다. 결국 AI의 진화는 인간을 ‘AI 조련사’나 ‘기술자’의 역할에서 해방시키고 있다.
3. AI가 관심을 갖는 단 한 가지: 당신의 ‘목적의식’
AI가 우리의 정교한 프롬프트에 관심이 없다면, 대체 무엇에 관심을 갖는다는 말인가? 그 답은 우리가 생각하는 것보다 훨씬 더 본질적이다. 바로 AI 스스로는 가질 수 없는 단 한 가지, 목적이다. AI는 주어진 ‘어떻게(How)’에 대한 답을 찾는 데 경이로운 능력을 보이지만, 그 일을 ‘왜(Why)’ 해야 하는지에 대한 이유, 즉 목적의식은 오직 인간만이 부여할 수 있다.
바로 이 지점에서 ‘프롬프트 기술’에 대한 집착이 왜 우리를 막다른 길로 이끄는지 명확해진다. AI 시대의 지식은 극단적으로 짧은 ‘반감기(Half-life)’를 가진다. 우리가 어제 배운 프롬프트 활용법이 오늘의 AI 버전에서는 구식이 되어버리는 세상. 여기서 생존을 가르는 것은 소멸하는 기술이 아니라, 변치 않는 가치, 즉 방향을 제시하는 능력이다.
그렇다면 이 ‘목적의식’은 실제 업무에서 어떻게 발현되는가? 이는 추상적인 개념이 아니라, 우리가 AI에게 던지는 질문의 ‘격’과 ‘차원’으로 드러난다. 진정한 목적의식은 다음과 같은 세 가지 능력으로 구체화된다.
첫째, ‘목적’ 자체를 정의하는 능력이다. 이는 단순히 주어진 과업을 해결하는 것을 넘어, 그 과업의 존재 이유를 묻는 것이다. ‘팔로워 5만 명 늘릴 방법’을 묻기 전에, “우리 비즈니스의 본질적 성장을 위해 팔로워 5만 명이 최적의 지표인가?”라는 근본적인 질문을 던지는 힘. 이것이 바로 인간의 전략적 사고이자 AI가 갈망하는 ‘목적’의 시작이다.
둘째, ‘목적’을 향해 AI와 함께 나아가는 능력이다. 이는 AI를 정답 자판기가 아닌, 목표를 향한 여정의 지적 파트너로 삼는 태도다. “내가 세운 A안의 맹점은 무엇인가? 정반대의 B안을 제시하고 논쟁해보자”고 AI를 도발하며, 함께 최적의 경로를 탐색해나가는 것. 이는 목적의식을 더욱 날카롭게 벼리는 과정이다.
셋째, ‘목적’을 시스템으로 구현하는 능력이다. 뚜렷한 목적의식은 결국 실행 가능한 시스템으로 귀결된다. “이 전략을 실행할 3개월치 콘텐츠 캘린더를 짜고, 칸반 보드로 시각화해줘”라고 지시하며, 추상적인 목표를 구체적인 워크플로우로 전환하는 능력. 이것이 바로 ‘설계자’의 역량이다.
엔비디아 CEO 젠슨 황의 단언은 바로 이 지점에서 우리에게 경고이자 축복이 된다.
“여러분이 지금 쓰는 AI는, 앞으로 쓸 AI 중 가장 최악일 겁니다.”
AI라는 도구는 계속해서 바뀔 것이다. 하지만 우리가 풀어야 할 문제, 즉 우리의 ‘목적의식’은 변치 않는 우리 고유의 영역이다. 결국 AI 시대의 진정한 전문가는 고정된 지식을 가진 사람이 아니라, 뚜렷한 목적의식을 가지고 AI와 함께 자신의 지능을 계속해서 진화시켜 나가는 사람이다. 낡은 지도(프롬프트)에 집착할 것인가, 아니면 변치 않는 북극성(목적의식)을 따라 변화의 바다를 항해하는 설계자가 될 것인가. 선택은 이미 시작되었다.
<출처> ¹ 매경이코노미, “똑같은 GPT 사용하는데…‘왜 내 AI만 멍청할까’ [스페셜리포트]”, 네이버 뉴스, https://naver.me/GOhzJrGE, 2025년 8월 24일 접속. ² Jodan Gibbs, “Prompt Engineering is dead”, Medium, 2023년 8월 6일, https://jodangibbs.medium.com/prompt-engineering-is-dead-long-live-prompt-engineering-8-6-23-6900a0e5b7e, 2025년 8월 24일