프롬프트 엔지니어 | 정의, 하는 일, 필요 역량과 전망

ChatGPT로 글을 쓰고, 미드저니로 그림을 그리는 세상. 방대한 양의 데이터를 학습해 새로운 결과물을 창작하는 생성형 AI(Generative Artificial Intelligence) 덕분에 상상 속의 미래가 훌쩍 현실이 되었습니다.

생성형 AI 서비스가 우리 삶에 미치는 영향이 커지면서 생성형 AI 서비스와 소통하는 프롬프트 엔지니어 또한 기술 분야에서 주목받는 직업군으로 떠오르고 있는데요. 국내에서도 억대 연봉을 내걸고 프롬프트 엔지니어를 공개 채용해 큰 화제가 되면서 프롬프트 엔지니어에 대한 관심도 커졌습니다.

그렇다면 프롬프트 엔지니어는 무슨 일을 할까요? 프롬프트 엔지니어가 하는 일과 업무 수행을 위해 필요한 역량, 커리어 전망까지 살펴보겠습니다. 프롬프트 엔지니어에 대해 알아보기 전 아래 프롬프트와 프롬프트 엔지니어링이 무엇인지 자세히 설명한 아티클을 먼저 읽어보시면 더욱 이해하기 쉬울 거예요.

• AI 프롬프트와 프롬프트 엔지니어링 | 정의와 예시

프롬프트 엔지니어란?

AI는 동일한 질문에 정해진 답변을 하는 것이 아닌 학습한 데이터를 기반으로 매번 새로운 답변을 내놓습니다. 내가 원하는 구조의 답변을 얻는데 성공했어도, 동일한 프롬프트를 몇 번 더 입력해 보면 다른 형태의 답변을 주는 경우가 발생하기도 하죠.

따라서 매번 원하는 구조로 답변을 얻어낼 수 있을 때까지 프롬프트를 수정하는 과정이 필요합니다. 특정 분야에서 특별하게 역할을 잘하는 AI가 있다고 가정했을 때, 해당 AI가 최상의 답을 할 수 있도록 훈련 시키고 AI로부터 최상의 답을 이끌어 내는 일을 하는 사람이 바로 ‘프롬프트 엔지니어’입니다.

프롬프트 엔지니어에 대한 수요가 증가하는 이유는 다양한 영역에서 ChatGPT와 같은 생성형 AI를 활용한 서비스를 도입하고 있기 때문입니다. ChatGPT 뿐만 아니라 마이크로 소프트의 Bing 챗이나 구글의 Bard와 같은 text-to-text 서비스나 Stable Diffusion, DALL-E, Midjourneyc처럼 text-to-image 서비스를 이용해 결과물을 출력하는 것 모두 프롬프트 엔지니어링이라고 할 수 있습니다.

완전한 서비스를 만들기 위해서, 그리고 서비스 구축에 필요한 API 사용 비용 절감을 위해서라도 좋은 프롬프트 개발은 필수입니다. 하지만 AI가 좋은 답변을 도출하도록 하는 데에는 100% 정답이 없기 때문에, 산업에서는 이를 전문적으로 연구하고 다양한 노하우를 습득한 프롬프트 엔지니어의 전문 역량이 더욱 필요해지고 있습니다.

프롬프트 엔지니어가 하는 일

최근 프롬프트 엔지니어 채용 공고를 보면, 다양한 기업에서 공통적으로 요구하는 주요 업무 내용을 크게 세 가지로 정리할 수 있습니다.

1. 프롬프트 설계 및 개발

• 기본적으로 다양한 서비스를 이용해 다양한 목적을 위한 프롬프트를 제작하고 문서화하는 업무를 수행합니다. 프롬프트는 직접 테스트하며 개발할 수도 있고, 웹상에 배포된 기존 프롬프트를 발굴하여 재설계 할 수도 있습니다.
• 기업의 비즈니스를 기반으로 원하는 결과를 출력하기 위해, 일종의 알고리즘을 개발하듯 프롬프트를 단계적으로 그리고 유기적으로 연결될 수 있도록 구성하며 다양하고 독자적인 프롬프트 기법을 개발하고 연구합니다. 프롬프트 기법 연구가 무엇인지 이해를 돕기 위해, 기존에 많이 사용하는 프롬프트 기법 중 하나인 Chain of Thought(CoT)를 소개해 드립니다.

Chain of Thought(CoT)

생성형 AI 서비스는 AI 개념 특성상 통계적으로 가장 유의한 결과를 출력하게 됩니다. 때문에 수학적 계산이나 논리적인 문제에 대해 틀린 답안을 도출하는 고질적인 문제가 존재하였습니다. 이러한 문제 해결을 위해 문제에 대해 단계적으로 접근하게 만드는, 쉽게 얘기해 추론 과정을 같이 작성하도록 유도하는 것이 이 기법의 특징입니다. 이후에는 추론 과정에 대한 구체적인 예시를 프롬프트에 포함하는 Self Consistency와 같은 기법으로 더 발전하게 됩니다.

• 프롬프트 엔지니어링을 통해 기획된 서비스는 소위 해킹 프롬프트를 이용해 사전에 입력된 기업이나 개인의 민감 정보를 결과물로 출력하지 않도록 프롬프트의 설계 및 보안 프롬프트를 추가하는 것 또한 중요합니다.

2. 프롬프트 테스트 및 평가

• 프롬프트 개발에 이어, 개발된 프롬프트가 의도된 결과물을 도출하는지 그 성능을 평가하고 개선하며, 사용자 경험 및 비즈니스 요구 사항에 대한 충족 여부를 확인하는 업무입니다.
• 프롬프트가 올바르게 작동하는지 확인하기 위한 테스트와 디버깅을 수행합니다.
• 평가 결과를 바탕으로 양질의 결과물 도출을 위해 지속적으로 프롬프트를 개발하고 업그레이드합니다.

3. 생성형 인공지능 모델 활용법 내재화

• 비즈니스에 적용할만한, 새 인공지능 모델이 등장하면 이에 대해 빠른 시간 안에 프롬프트 모범 사례를 구축하는 업무가 요구될 수 있습니다. 예를 들어 다양한 AI 모델을 활용해 프로덕트 제작 및 마케팅에 필요하거나 활용할만한 리소스(텍스트, 이미지, 개발코드 등) 산출 등의 업무를 수행합니다.
• 더 나아가 기존에 사용하고 있는 생성 인공지능 모델이나 새롭게 등장한 모델을 프롬프트 관점에서 분석하고 정리하는 업무를 하기도 합니다.

프롬프트 엔지니어 필요 역량

위와 같은 프롬프트 엔지니어링 업무를 수행해야 하는 프롬프트 엔지니어에게는 아래와 같은 역량이 필요합니다.

1. AI에 대한 학문 지식과 실무 경험

• 생성 인공지능의 특성과 한계를 이해하고, 이를 프롬프트에 적용할 수 있는 역량이 필요합니다.
• 코딩 없이 업무 수행이 가능한 직업이지만 새로운 기술에 민감하고 때때로 모델을 직접 튜닝하는 경우가 있을 수 있습니다. 이러한 이유 때문에 최신 동향 파악 및 인공지능에 대한 기본적인 원리와 개념을 명확히 이해하는 것이 필요합니다. AI 언어 모델 구조에 대한 이해, 특히 NLP(Natural Language Processing, 자연어 처리), LLM(Large Language Model, 대규모 언어 모델) 관련 지식을 요구하거나 우대사항으로 제시하는 경우가 있습니다.
• 생성형 AI를 이용한 대부분의 서비스가 Rest API 형태로 제공되고 있기 때문에, 이를 활용하기 위해서는 내부 개발 직군과의 원활한 소통이 요구됩니다. 이를 위해서 코딩 및 프로그래밍에 대한 기초 지식 및 역량이 수반돼야 할 있습니다.

2. 가설 설계, 실험, 데이터 수집・분석을 위한 사고력

• 프롬프트 엔지니어링 특성상, 고객이나 회사의 의도를 반영하여 글 또는 이미지, 영상, 음원 등의 콘텐츠를 빠르고 정확하게, 양질의 결과물로 도출해 내는 역량이 프롬프트 엔지니어로서의 차별점이 됩니다.
• 의도에 부합하는 정확한 결과물 창작을 위해서 전체적인 테스트를 구축하고 시행하는 능력은 논리적인 사고 및 가설 설정, 문제 해결 역량에 기반을 둡니다.

3. 내외부 고객 요구사항 파악 및 결과물 도출 역량

• AI 모델이 이해할 수 있는 간결하고 명확한 프롬프트 작성을 위해 글쓰기 실력과 커뮤니케이션 능력이 요구됩니다.
• 보다 나은 결과물을 도출하기 위해서는 틀에서 벗어나 다양한 방식으로 프롬프트를 작성할 수 있는 관점이 필요하므로, 창의성에 기반한 문제해결능력이 필요합니다.
• 점진적인 해결이 이루어지고 있지만, 대화형 서비스에 탑재되는 LLM의 경우 할루시네이션 현상(Hallucination, 틀리거나 엉뚱한 대답을 내놓아도 정답인 것처럼 그럴싸한 결과를 출력하는 현상)이 고질적인 문제로 발생합니다. 이로 인해 잘못된 정보를 제공하지 않으려면 기획한 서비스에 대한 기술적인 이해와 해당 도메인에 대한 이해가 수반되어야 합니다.

프롬프트 엔지니어 커리어 전망

프롬프트 엔지니어는 AI 시스템으로 원하는 것을 정확하게 생산하도록 돕는 이들로, AI에 입력하는 텍스트 프롬프트를 만들고 개선하는 업무를 합니다.

기존의 엔지니어와 달리 프롬프트 엔지니어는 문장을 이용해 프로그래밍을 하고, 일반 텍스트로 작성한 명령을 AI 시스템에 보내 작업을 수행하기 때문에 수준 높은 코딩 능력은 요구되지 않습니다. 테슬라의 전 AI 책임자인 안드레이 카파시는 “가장 인기 있는 새로운 프로그래밍 언어는 영어”라며 프롬프트 엔지니어 직무의 부상을 증명하기도 했죠.

프롬프트 엔지니어링이라는 역량 자체는 궁극적으로 모두에게 필요한 역량으로 보편화될 것이라는 시각도 있습니다. 하지만 프롬프트 엔지니어 직무는 이제 막 등장한 개념이고, 프롬프트를 효율적으로 생성하여 결과물의 퀄리티를 높일 수 있는 것은 전문가의 영역이므로 현재 시점에서는 반드시 필요합니다.

또한 생성형 AI 시장이 전 세계에 폭발적인 관심과 수요를 보이는 만큼 이로 인해 파생되는 사업 모델이 계속 발생하며 일자리 수요도 더 늘어날 것으로 전망됩니다.

코드스테이츠 인공지능 부트캠프는 AI에 대한 지식을 체계적으로 습득하는 교육 과정으로 구성되어 있습니다. 과제, 챌린지 및 프로젝트를 통해 가설을 수집하고 데이터를 분석하여 다양한 문제를 해결하는 경험도 제공합니다. 이러한 학습과 경험은 프롬프트 엔지니어에게 필요한 역량과도 맞닿아 있죠.

프롬프트 엔지니어가 되어 혁신적이고 완벽한 AI 서비스를 만들고 싶다면, 코드스테이츠 인공지능(AI) 부트캠프와 함께 도전해 보세요.

_{글 홍미연, 이기한 Learning Architect (인공지능(AI) 부트캠프)
편집 최인성 Content Manager}

---