Supervisor와 Swarm — 여러 에이전트는 어떻게 일을 나눌까
가상의 도서관 예약을 예로 중앙 조정과 직접 인계의 차이, 공유 상태와 실행 한도, 실패 처리 기준을 비교한다.
AI ENGINEERING
AI · 자동화
모델 활용부터 에이전트와 업무 자동화까지.
24개의 글LangChain·LangGraph·Strands — 에이전트 프레임워크 선택 기준
가상의 도서관 안내를 직접 SDK로 만들 때와 프레임워크로 만들 때를 비교하고, 앱 구성·실행 흐름·관측 평가의 책임을 구분한다.
CoT와 ReAct — 풀이를 생성하는 것과 도구를 실행하는 것의 차이
가상의 도서관 사례로 CoT, Zero-shot CoT, ReAct를 비교하고 도구 호출·관찰·종료 조건을 구분한다.
가중치를 공개하면 오픈소스일까 — Closed AI, Open Weights, Open Source AI 비교
모델 가중치와 학습 과정의 공개 범위를 구분하고, 대표 모델의 라이선스와 출처가 명시된 성능 비교를 통해 선택 기준을 정리한다.
Bedrock Guardrails — 차단 문구보다 trace에서 확인할 것
RAG에 Guardrails를 연결한 저장 출력을 검토하고, 입력·출력 정책과 실제 차단 위치, 문서 권한·정확도 검증의 경계를 나눈다.
평가받는 답변이 채점자를 속일 수 있을까 — LLM-as-Judge와 프롬프트 주입
후보 답변 속 지시가 평가에 영향을 주는 문제를 살펴보고, 신뢰 경계·근거 확인·회귀 사례로 평가자의 견고함을 점검하는 방법을 정리한다.
RAGAS 점수가 낮으면 무엇을 고칠까 — 검색·생성·평가 오류 분리하기
5건의 실습 점수와 저장 답변을 대조하고, faithfulness·correctness·context recall을 원인 진단과 구분해 해석한다.
답변 순서만 바꿨는데 승자가 달라진다면 — LLM 평가의 위치 편향
A/B 순서를 바꾼 평가에서 실제 답변의 정체성을 추적하고, 반복 변동·순서 불일치·동점·판단 불가를 나눠 기록하는 방법을 살펴본다.
Bedrock RAG 검색·생성 분리 — 답변에 쓴 근거를 그대로 평가하기
Retrieve와 생성 호출을 분리하고, 검색 재호출과 실패 행 누락으로 평가 입력이 어긋나는 문제를 방지하는 기록 구조를 만든다.
MCP와 A2A — 도구 연결과 에이전트 협업은 어떻게 다를까
MCP의 도구·리소스 연결과 A2A의 에이전트 간 작업 교환을 비교하고, 가상 자료 조사 흐름으로 두 프로토콜의 역할과 운영 경계를 살펴본다.
Bedrock RAG 실습 — RetrieveAndGenerate로 시작하고 근거를 확인하기
Knowledge Bases의 검색·생성 통합 호출을 살펴보고, 검색 개수와 프롬프트 변경을 비교할 때 인용 근거와 실행 기록을 어떻게 읽을지 정리한다.
RAG는 어떻게 동작할까 — 검색부터 근거 있는 답변까지
가상의 도서관 안내로 검색 증강 생성의 흐름을 살펴보고, 청크·임베딩·하이브리드 검색과 검색 품질·답변 품질의 평가를 구분한다.
LLM 평가를 테스트 코드처럼 운영하기 — 평가 데이터와 회귀 테스트
가상 판정 JSON과 Python으로 평가 변경을 비교한다. 잘못된 통과·판단 불가·실행 실패를 따로 기록하고 버전과 표본 누락을 검사한다.
AI에게 “잘 평가해줘”라고 하면 안 되는 이유 — 평가 기준표 만들기
막연한 점수 대신 사실 충실성·핵심 정보·근거 없는 추가를 나누고, 통과·실패·판단 불가와 경계 사례로 평가 기준을 구체화한다.
LLM-as-Judge — AI가 매긴 점수를 어디까지 믿을 수 있을까
LLM을 평가자로 사용하는 방법과 정답지 생성의 차이를 살펴보고, 평가 기준·편향·사람 검증을 포함한 평가 설계를 정리한다.
사내 AI 운영, 오류 복구와 성과 측정까지
중복 방지·재시도 한도·실패 큐·사람 인계와 버전별 평가를 연결하고, 자동 확정 오탐·순절감 시간·운영비로 확장 여부를 판단한다.
외부 API·로컬 LLM·혼합 구성, 무엇을 선택할까
사내 AI의 실행 환경을 품질·동시성·지연·데이터 제약·운영인력·총비용으로 비교하고, 메모리 용량과 처리량을 구분해 검증하는 방법을 정리한다.
사내 AI 공통 아키텍처와 데이터·권한 경계
수집·저장·검색·도구 호출·검토 큐·업무 반영을 연결하고, 최소 권한과 외부 데이터 이동, 실시간·배치 경로의 경계를 설계한다.
마케팅·상담·회계 지원을 AI 업무 흐름으로 설계하기
세 업무를 입력·처리·검증·반영으로 비교하고, 승인 자료·미확정 약속·증빙 대조를 다루는 검토 가능한 AI 지원 흐름을 설계한다.
업무 시스템·규칙·LLM의 역할을 나누는 법
원본 상태, 계산과 대조, 비정형 정보 추출, 사람 승인을 분리하고 AI의 제안을 검증된 업무 변경으로 연결한다.
사내 AI 도입, 업무와 완료 기준부터 정하기
모델과 서버를 고르기 전에 입력·출력·완료 증거를 정의하고, 문의 후속 처리 예제로 작은 PoC의 평가 범위를 정한다.
프롬프트 엔지니어링 다음은 왜 Harness Engineering인가
에이전트의 반복 실패를 줄이기 위한 저장소 안내, 권한, 테스트와 관측·복구 설계를 DevOps 관점에서 정리한다.
프롬프트 엔지니어링에서 메타프롬프트까지: AI에게 질문하는 법에서 행동을 설계하는 법으로
좋은 질문을 만드는 Prompt Engineering과 AI의 행동 원칙을 정의하는 Meta Prompt의 차이를 개발자 관점에서 예제와 함께 정리했다.
AI 사용량을 측정하기 시작하니 오히려 AI를 더 쓰게 됐다
ClaudeTuner를 사용하면서 느낀 점과 함께, 단순 사용량을 넘어 개발자의 AI 활용도를 어떻게 측정하면 좋을지 정리해봤다.