AI 에이전트 개발 – 기업 업무에 맞는 설계 구조와 통제 장치

핵심 요약

• AI 에이전트는 LLM이 목표에 맞춰 다음 행동을 정하고, 정의된 도구를 호출해 여러 단계의 업무를 처리하는 소프트웨어입니다.
• 정해진 화면 조작을 반복하는 업무는 RPA가 더 저렴하고 안정적일 수 있으며, AI 에이전트는 이메일·문서처럼 매번 다른 입력을 읽고 판단해야 하는 업무에 적합합니다.
• 외부 발송, 결제, 데이터 삭제처럼 되돌리기 어려운 행동은 에이전트가 직접 실행하지 않고 담당자 승인 후 실행하도록 설계하는 것이 기본입니다.
• 베트남 하노이의 AI 엔지니어링 기업 NKKTech Global의 공개 사례 연구에 따르면 미국 기술 기업의 Slack AI 운영 에이전트는 6주·USD 25,000 규모였고, 상태 보고 시간이 70% 줄었습니다.

챗봇, RPA, AI 에이전트의 차이

RPA(Robotic Process Automation)는 사람이 하던 클릭과 입력을 규칙대로 재현하는 소프트웨어입니다. 화면 구조가 고정된 업무라면 RPA가 여전히 좋은 선택입니다.

AI 에이전트 개발에 들어가는 구성 요소

1. LLM – 요청을 이해하고 다음 행동을 결정합니다.
2. 도구 정의 – 에이전트가 호출할 수 있는 기능 목록입니다. "주문 조회", "CRM 메모 작성"처럼 기능 단위로 좁게 정의할수록 오작동이 줄어듭니다. MCP(Model Context Protocol)는 AI 모델과 외부 도구·데이터를 연결하는 공개 표준으로, 도구 연결 방식을 통일할 때 씁니다.
3. 지식 검색 – 규정이나 매뉴얼을 참고해야 하면 RAG로 관련 문서를 찾아 근거로 씁니다. 문서 검색 부분의 구축 순서는 RAG 구축 실무 가이드에서 다룹니다. 에이전트가 틀린 행동을 했을 때 원인이 검색에 있는지, 판단에 있는지 구분하려면 이 단계의 결과도 따로 기록해야 합니다.
4. 상태 기록 – 작업이 어디까지 진행됐고 어떤 도구를 어떤 값으로 호출했는지 남깁니다. 문제 발생 시 원인 추적의 근거가 됩니다.
5. 오케스트레이션 – 단계 순서, 재시도, 실패 시 사람에게 넘기는 규칙을 관리합니다.

예를 들어 고객 문의 처리 에이전트라면 흐름은 "문의 수신 → 유형 분류 → 주문 시스템 조회 → 답변 초안 작성 → 담당자 승인 → 발송"이 됩니다. 이 중 에이전트가 직접 실행하는 것은 조회와 초안까지이고, 발송은 승인 버튼을 누른 뒤에만 일어나도록 도구 권한을 나눕니다. 로그에는 호출한 도구, 입력값, 결과, 승인자를 남겨 두면 잘못된 답변이 나갔을 때 어느 단계에서 틀렸는지 바로 확인할 수 있습니다.

도구를 처음부터 많이 주면 에이전트가 잘못된 도구를 고를 가능성도 커집니다. 첫 버전은 도구 서너 개로 시작하고, 로그를 보며 늘려 가는 편이 안정적입니다. 도구마다 이름과 설명, 입력값 형식을 명확히 적어 두는 것도 중요합니다. 에이전트는 이 설명을 읽고 어떤 도구를 쓸지 고르기 때문입니다.

공개 사례 – Slack에서 동작하는 운영 에이전트

당사가 공개한 AI 운영 에이전트 사례 연구는 미국의 성장 중인 기술 기업을 위한 프로젝트입니다. Claude API, RAG, Notion을 연동해 Slack에서 동작하는 운영 에이전트를 만들었고, 6주·USD 25,000(당사 기준 환율 참고치 약 3,375만 원) 규모로 상태 보고 시간을 70% 줄였다는 결과가 공개되어 있습니다. 한국 고객 사례는 아니지만, 직원이 이미 매일 쓰는 협업 도구 안에 에이전트를 두는 방식은 그룹웨어나 사내 메신저 중심으로 일하는 한국 기업에도 참고가 됩니다.

통제 장치 체크리스트

• 최소 권한. 에이전트 계정에는 필요한 조회·쓰기 권한만 줍니다.
• 승인 단계. 외부 발송, 결제, 삭제는 담당자 승인 후 실행합니다.
• 프롬프트 인젝션 대비. 프롬프트 인젝션은 이메일이나 웹페이지에 숨긴 문장으로 AI에게 엉뚱한 지시를 내리는 공격입니다. 외부 입력은 지시가 아닌 데이터로만 다루도록 설계합니다.
• 비용 상한. 반복 호출로 API 비용이 불어나지 않도록 작업당 호출 횟수에 상한을 둡니다.
• 개인정보. 개인정보보호위원회의 생성형 AI 개발·활용을 위한 개인정보 처리 안내서(2025년 8월 공개, 2026년 10월 기준 확인)는 AI 에이전트 관리에 관한 내용도 다룹니다. 이 항목은 일반적인 정보이며 법률 자문이 아닙니다.

첫 에이전트로 맡길 업무 고르기

매주 반복되고 처리 건수가 많은지, 에이전트가 쓸 시스템에 API가 있는지, 결과가 틀렸을 때 사람이 쉽게 발견하고 바로잡을 수 있는지를 확인하십시오. 반대로 법적 판단이 필요하거나, 실수 한 번의 손실이 큰 업무는 첫 에이전트 후보에서 빼는 것이 좋습니다. 세 조건을 모두 만족하는 업무, 예를 들어 문의 분류와 답변 초안 작성, 견적서 비교표 작성, 사내 헬프데스크 티켓 등록 같은 업무가 첫 에이전트로 적합합니다.

첫 에이전트를 운영한 뒤에는 처리 시간, 승인 없이 통과한 비율, 담당자가 수정한 비율을 함께 보고 자동화 범위를 넓힐지 판단합니다. 구축 방식은 AI 에이전트 개발 서비스에 정리되어 있습니다.

자주 묻는 질문

AI 에이전트와 RPA는 무엇이 다른가요? RPA는 정해진 규칙과 화면 조작을 그대로 반복하고, AI 에이전트는 매번 다른 입력을 읽고 상황에 맞게 단계를 정해 도구를 사용합니다. 규칙이 고정된 반복 작업은 RPA가, 판단이 섞인 업무는 AI 에이전트가 더 잘 맞습니다.

AI 에이전트를 만들려면 무엇을 준비해야 하나요? 자동화할 업무의 단계별 흐름, 에이전트가 사용할 시스템의 API나 데이터 접근 수단, 결과를 검토할 담당자가 필요합니다. API가 없는 시스템이 섞여 있다면 그 부분을 먼저 해결하거나 사람이 처리하는 단계로 남겨 두는 것이 현실적입니다.

AI 에이전트에게 업무를 완전히 맡겨도 되나요? 처음부터 완전 자동화하는 것은 권하지 않습니다. 조회와 초안 작성처럼 위험이 낮은 단계부터 맡기고, 외부 발송이나 결제는 사람 승인을 거치게 한 뒤, 로그와 수정 비율을 보고 범위를 넓히는 것이 안전합니다.