Supervisor와 Swarm — 여러 에이전트는 어떻게 일을 나눌까
가상의 도서관 예약을 예로 중앙 조정과 직접 인계의 차이, 공유 상태와 실행 한도, 실패 처리 기준을 비교한다.
ALL NOTES
전체 글
42개의 기록. 제목·태그·본문 검색도 사용할 수 있습니다.
LangChain·LangGraph·Strands — 에이전트 프레임워크 선택 기준
가상의 도서관 안내를 직접 SDK로 만들 때와 프레임워크로 만들 때를 비교하고, 앱 구성·실행 흐름·관측 평가의 책임을 구분한다.
CoT와 ReAct — 풀이를 생성하는 것과 도구를 실행하는 것의 차이
가상의 도서관 사례로 CoT, Zero-shot CoT, ReAct를 비교하고 도구 호출·관찰·종료 조건을 구분한다.
AWS Solutions Library Samples 둘러보기 — 9개 주제로 정리한 28개 프로젝트
생성형 AI부터 데이터 파이프라인, 보안, 비용 관리, 네트워크, 미디어와 산업별 시스템까지 공개 AWS 예제를 목적별로 분류하고 선택 기준을 정리한다.
가중치를 공개하면 오픈소스일까 — Closed AI, Open Weights, Open Source AI 비교
모델 가중치와 학습 과정의 공개 범위를 구분하고, 대표 모델의 라이선스와 출처가 명시된 성능 비교를 통해 선택 기준을 정리한다.
Bedrock Guardrails — 차단 문구보다 trace에서 확인할 것
RAG에 Guardrails를 연결한 저장 출력을 검토하고, 입력·출력 정책과 실제 차단 위치, 문서 권한·정확도 검증의 경계를 나눈다.
평가받는 답변이 채점자를 속일 수 있을까 — LLM-as-Judge와 프롬프트 주입
후보 답변 속 지시가 평가에 영향을 주는 문제를 살펴보고, 신뢰 경계·근거 확인·회귀 사례로 평가자의 견고함을 점검하는 방법을 정리한다.
RAGAS 점수가 낮으면 무엇을 고칠까 — 검색·생성·평가 오류 분리하기
5건의 실습 점수와 저장 답변을 대조하고, faithfulness·correctness·context recall을 원인 진단과 구분해 해석한다.
답변 순서만 바꿨는데 승자가 달라진다면 — LLM 평가의 위치 편향
A/B 순서를 바꾼 평가에서 실제 답변의 정체성을 추적하고, 반복 변동·순서 불일치·동점·판단 불가를 나눠 기록하는 방법을 살펴본다.
Bedrock RAG 검색·생성 분리 — 답변에 쓴 근거를 그대로 평가하기
Retrieve와 생성 호출을 분리하고, 검색 재호출과 실패 행 누락으로 평가 입력이 어긋나는 문제를 방지하는 기록 구조를 만든다.
MCP와 A2A — 도구 연결과 에이전트 협업은 어떻게 다를까
MCP의 도구·리소스 연결과 A2A의 에이전트 간 작업 교환을 비교하고, 가상 자료 조사 흐름으로 두 프로토콜의 역할과 운영 경계를 살펴본다.
Bedrock RAG 실습 — RetrieveAndGenerate로 시작하고 근거를 확인하기
Knowledge Bases의 검색·생성 통합 호출을 살펴보고, 검색 개수와 프롬프트 변경을 비교할 때 인용 근거와 실행 기록을 어떻게 읽을지 정리한다.
RAG는 어떻게 동작할까 — 검색부터 근거 있는 답변까지
가상의 도서관 안내로 검색 증강 생성의 흐름을 살펴보고, 청크·임베딩·하이브리드 검색과 검색 품질·답변 품질의 평가를 구분한다.
Debezium CDC 운영 — Kafka Connect와 Schema Evolution
Kafka Connect의 worker·connector·task 운영과 schema history를 이해하고, coupon_code 추가 예제로 이벤트·소비자·목적지의 안전한 변경 순서를 정리한다.
CDC 정합성과 장애 복구 — 중복·역순·재처리를 다루는 방법
초기 적재 경계부터 멱등 upsert, 삭제 버전 보존과 replay까지. orders 예제로 CDC 목적지의 최신 상태를 지키고 복구 완료를 검증하는 방법을 정리한다.
LLM 평가를 테스트 코드처럼 운영하기 — 평가 데이터와 회귀 테스트
가상 판정 JSON과 Python으로 평가 변경을 비교한다. 잘못된 통과·판단 불가·실행 실패를 따로 기록하고 버전과 표본 누락을 검사한다.
GitHub Actions에서 AWS Access Key 없이 배포하기: OIDC 구조 이해하기
GitHub Actions에 장기 AWS Access Key를 저장하지 않고 OIDC와 IAM Role을 이용해 short-lived credential로 AWS에 접근하는 구조를 정리했다.
Detection as Code — SIEM Rule도 Git으로 관리해야 하는 이유
SIEM 탐지 규칙을 Git에서 버전 관리하고 Sigma, 테스트, CI/CD, 배포 및 Rollback까지 연결하는 실무 설계.
AWS 인프라로 SIEM 만들기: Security Lake와 OpenSearch
Amazon Security Lake를 보안 분석용 Source of Truth로 두고 OpenSearch, Athena, Log Archive, Detection GitOps를 연결해 운영 가능한 AWS SIEM 구조를 정리했다.
AI에게 “잘 평가해줘”라고 하면 안 되는 이유 — 평가 기준표 만들기
막연한 점수 대신 사실 충실성·핵심 정보·근거 없는 추가를 나누고, 통과·실패·판단 불가와 경계 사례로 평가 기준을 구체화한다.
LLM-as-Judge — AI가 매긴 점수를 어디까지 믿을 수 있을까
LLM을 평가자로 사용하는 방법과 정답지 생성의 차이를 살펴보고, 평가 기준·편향·사람 검증을 포함한 평가 설계를 정리한다.
사내 AI 운영, 오류 복구와 성과 측정까지
중복 방지·재시도 한도·실패 큐·사람 인계와 버전별 평가를 연결하고, 자동 확정 오탐·순절감 시간·운영비로 확장 여부를 판단한다.
외부 API·로컬 LLM·혼합 구성, 무엇을 선택할까
사내 AI의 실행 환경을 품질·동시성·지연·데이터 제약·운영인력·총비용으로 비교하고, 메모리 용량과 처리량을 구분해 검증하는 방법을 정리한다.
사내 AI 공통 아키텍처와 데이터·권한 경계
수집·저장·검색·도구 호출·검토 큐·업무 반영을 연결하고, 최소 권한과 외부 데이터 이동, 실시간·배치 경로의 경계를 설계한다.
마케팅·상담·회계 지원을 AI 업무 흐름으로 설계하기
세 업무를 입력·처리·검증·반영으로 비교하고, 승인 자료·미확정 약속·증빙 대조를 다루는 검토 가능한 AI 지원 흐름을 설계한다.
업무 시스템·규칙·LLM의 역할을 나누는 법
원본 상태, 계산과 대조, 비정형 정보 추출, 사람 승인을 분리하고 AI의 제안을 검증된 업무 변경으로 연결한다.
사내 AI 도입, 업무와 완료 기준부터 정하기
모델과 서버를 고르기 전에 입력·출력·완료 증거를 정의하고, 문의 후속 처리 예제로 작은 PoC의 평가 범위를 정한다.
CDC 아키텍처 비교 — GCP Datastream vs Debezium
운영 DB를 BigQuery로 복제하는 Datastream과 Debezium·Kafka 기반 이벤트 파이프라인의 데이터 흐름, 운영 책임과 선택 기준을 비교한다.
추천 시스템은 어떻게 평가할까 — Recall@K, Precision@K, NDCG
추천 결과의 적중률과 순서 품질을 Recall@K, Precision@K, NDCG로 계산하고 Offline·Online 평가를 구분한다.
추천 시스템 Two-Tower 다음 단계 — ANN과 Vector Search
Two-Tower의 벡터를 검색 후보로 연결하고 HNSW·IVF, 필터, 모델·인덱스 버전과 ANN Recall을 구분해 설계한다.
로그·Metric·Trace는 무엇이 다를까 — Observability 기본 구조
주문 API 지연 예제로 Metrics·Traces·Logs의 역할과 연결 방법을 살펴보고 OpenTelemetry 수집 경로와 비용·누락을 설계한다.
AWS VPC를 처음부터 설계한다면 — Public/Private Subnet, NAT, VPC Endpoint
2-AZ VPC의 public/private subnet, route table, NAT Gateway와 VPC Endpoint를 비용·운영 관점에서 설계한 실무 노트.
Docker Image는 다시 Build하지 않는다 — Build Once, Promote by Tag
한 번 만든 Docker Image를 commit SHA와 digest로 추적하고 stage에서 검증한 동일 artifact를 prod로 승격하는 방법.
AWS Security Agent는 기존 보안 스캐너와 뭐가 다를까
AWS Security Agent와 AWS Continuum이 Design Review, Code Review, Threat Modeling, Penetration Testing을 어떻게 연결하는지 AppSec 관점에서 정리했다.
Terraform State는 왜 S3에 저장할까: Remote Backend와 Locking 이해하기
Terraform state를 local 파일로 두면 어떤 문제가 생기는지, S3 Remote Backend와 native state locking을 왜 사용하는지 운영 관점에서 정리했다.
SIEM이란 무엇인가: 로그 수집부터 탐지와 대응까지
SIEM이 단순한 로그 저장소와 무엇이 다른지, Collection·Normalization·Correlation·Detection·Investigation 흐름을 기준으로 정리했다.
추천 시스템에서 MF 다음은 왜 Two-Tower인가
CF와 MF에서 시작해 Two-Tower, Vector Search, Ranking으로 이어지는 현대 추천 시스템 구조를 쉽게 정리했다.
2D 캐릭터 움직임은 어떻게 만들까: Sprite Sheet와 Procedural Animation
2D 게임에서 캐릭터의 걷기, 점프, 공격 동작을 만드는 대표적인 두 방식인 Sprite Sheet 애니메이션과 Procedural Animation을 비교해봤다.
프롬프트 엔지니어링 다음은 왜 Harness Engineering인가
에이전트의 반복 실패를 줄이기 위한 저장소 안내, 권한, 테스트와 관측·복구 설계를 DevOps 관점에서 정리한다.
프롬프트 엔지니어링에서 메타프롬프트까지: AI에게 질문하는 법에서 행동을 설계하는 법으로
좋은 질문을 만드는 Prompt Engineering과 AI의 행동 원칙을 정의하는 Meta Prompt의 차이를 개발자 관점에서 예제와 함께 정리했다.
AI 사용량을 측정하기 시작하니 오히려 AI를 더 쓰게 됐다
ClaudeTuner를 사용하면서 느낀 점과 함께, 단순 사용량을 넘어 개발자의 AI 활용도를 어떻게 측정하면 좋을지 정리해봤다.
AD·AWS 연동으로 이해하는 IAM — Identity Center와 주요 솔루션 비교
AD와 AWS 연동 경험을 계기로 Okta, Entra ID, IAM Identity Center, JumpCloud, Keycloak 등 대표 IAM 솔루션의 역할과 장단점을 정리해봤다.