하네스 엔지니어링이란

하네스 엔지니어링(Harness Engineering)은 AI Agent가 소프트웨어를 안정적으로 개발·검증·배포할 수 있도록 “작업 환경과 안전장치”를 설계하는 엔지니어링 방식을 의미한다. 쉽게 말하면사람이 코드를 직접 작성하는 비중을 줄이고, Agent가 잘 일할 수 있도록 도구·규칙·문서·테스트·피드백 루프를 구축하는 것 전통적인 개발이 “코드를 어떻게 작성할까?”에 집중한다면, 하네스 엔지니어링은 다음을 고민합니다.구성 요소역할Repository 구조Agent가 프로젝트를 쉽게 탐색하도록 구성AGENTS.md·문서작업 규칙과 아키텍처를 전달Tool코드 검색, 실행, 테스트, Git, 브라우저 등을 제공Guardrail금지된 의존성·구조·보안 문제를 차단자동 테스트·LintAgent가 만든 결과를 ..

- 임베딩 서버 기동: 모델이 문장을 벡터로 바꿀 수 있다는걸 의미한다.hello world → embedding server → [0.0123, -0.0432, ...] if 문서가 정상적으로 저장되었다면doc:test:001 content: "spring datasource 설정 방법..." embedding: [0.021, -0.114, 0.008, ...] metadata: source: "spring-set-guide.md" page: 3 if) 문서가 정상적으로 저장되지 않은 경우redis 서버 접속 > KEYS *(empty array)=> Redis Vector DB에는 문서가 안 들어갔다는 의미이다. - 임베딩 할 데이터 인덱싱한다: 실제 문서를 넣어서 벡터 DB에 저장..

Redis Volume 이란?: Docker와 같은 가상화 환경에서 Redis Data를 호스트 컴퓨터에 물리적인 저장공간과 연결하여 데이터를 영구 보존하는 기능을 의미한다. Redis Volume이 필요한 경우 : 레디스를 단순 캐시가 아닌 중요한 데이터로 저장하는 용도로 쓰거나, 서버가 재시작되어도 기존 데이터를 유지해야할 때 필요함. Redis Volume을 생략 가능한 경우: 레디스를 일회성 캐시로만 사용하는 경우 이용함. 볼륨관련 명령어는 -v 옵션을 이용해서 사용한다.

📚데이터셋 엔지니어링(Data Set Engineering)이란? 한정된 예산과 자원 안에서 최고의 AI 모델을 학습시킬 수 있는 데이터셋을 만드는 과정이다.AI 성능은 모델만 좋다고 높아지는 것이 아니다. 어떤 데이터를 학습시키느냐에 따라 성능 차이가 크게 발생한다.최근에는 "모델을 키우는 것보다 데이터를 잘 만드는 것이 더 중요하다." 라는 데이터 중심 AI(Data-Centric AI) 패러다임이 주목받고 있다. 🤖모델 중심 AI(Model-Centric AI) 모델 자체를 개선해서 AI 성능을 높이는 방법이다.대표적인 방법새로운 모델 아키텍처 설계모델 크기(파라미터 수) 증가새로운 학습 알고리즘 개발최적화 기법 개선 예시GPT-2 → GPT-3 → GPT-4처럼모델 크기를 키우고Transfo..

📌 RAG vs Fine-tuning실무에서 가장 많이 나오는 질문 중 하나가 바로"RAG를 써야 할까? Fine-tuning을 해야 할까?" 이다. 두 기술은 목적 자체가 다르다.구분RAGFine-tuning🎯 목적외부 지식 활용모델 행동 변경📚 데이터최신 데이터 사용학습 데이터에 포함🕒 최신 정보 반영매우 강함약함✍️ 응답 스타일거의 변화 없음변경 가능💰 비용낮음높음 📚 RAG가 적합한 경우최신 정보를 계속 활용해야 하는 경우📄 기업 문서 검색📖 사내 Wiki 검색💱 최신 환율 조회⚖️ 오늘 발표된 법률 검색📢 실시간 정책 조회이처럼 자주 바뀌는 정보는 RAG가 훨씬 적합하다. 🎯 Fine-tuning이 적합한 경우모델의 행동 자체를 바꾸고 싶을 때 사용한다.예를 들어📦 JS..

Fine-tuning부터 PEFT, LoRA, SFT, Long Context까지 한 번에 이해하기: LLM은 이미 뛰어난 성능을 가지고 있지만, 기업 환경이나 특정 업무에서는 그대로 사용하기 어려운 경우가 많다.이때 사용하는 대표적인 방법이 바로 Fine-tuning(파인튜닝) 이다.📌 파인튜닝(Fine-tuning)이란?파인튜닝(Fine-tuning) 은 전이학습(Transfer Learning) 의 대표적인 방법이다.이미 대규모 데이터로 사전학습(Pre-trained) 된 모델을 특정 도메인이나 작업(Task) 에 맞게 추가 학습시키는 과정이다.쉽게 말하면,📚 사전학습은 세상의 일반적인 지식을 배우는 과정이고,🎯 파인튜닝은 특정 업무에 맞게 행동을 수정하는 과정이다.즉, 사전학습 모델을 원하는..