임베딩 기본 용어 정리

- 임베딩 서버 기동: 모델이 문장을 벡터로 바꿀 수 있다는걸 의미한다.hello world → embedding server → [0.0123, -0.0432, ...] if 문서가 정상적으로 저장되었다면doc:test:001 content: "spring datasource 설정 방법..." embedding: [0.021, -0.114, 0.008, ...] metadata: source: "spring-set-guide.md" page: 3 if) 문서가 정상적으로 저장되지 않은 경우redis 서버 접속 > KEYS *(empty array)=> Redis Vector DB에는 문서가 안 들어갔다는 의미이다. - 임베딩 할 데이터 인덱싱한다: 실제 문서를 넣어서 벡터 DB에 저장..

Redis Volume

Redis Volume 이란?: Docker와 같은 가상화 환경에서 Redis Data를 호스트 컴퓨터에 물리적인 저장공간과 연결하여 데이터를 영구 보존하는 기능을 의미한다. Redis Volume이 필요한 경우 : 레디스를 단순 캐시가 아닌 중요한 데이터로 저장하는 용도로 쓰거나, 서버가 재시작되어도 기존 데이터를 유지해야할 때 필요함. Redis Volume을 생략 가능한 경우: 레디스를 일회성 캐시로만 사용하는 경우 이용함. 볼륨관련 명령어는 -v 옵션을 이용해서 사용한다.

📚데이터셋 엔지니어링(Data Set Engineering)이란? 한정된 예산과 자원 안에서 최고의 AI 모델을 학습시킬 수 있는 데이터셋을 만드는 과정이다.AI 성능은 모델만 좋다고 높아지는 것이 아니다. 어떤 데이터를 학습시키느냐에 따라 성능 차이가 크게 발생한다.최근에는 "모델을 키우는 것보다 데이터를 잘 만드는 것이 더 중요하다." 라는 데이터 중심 AI(Data-Centric AI) 패러다임이 주목받고 있다. 🤖모델 중심 AI(Model-Centric AI) 모델 자체를 개선해서 AI 성능을 높이는 방법이다.대표적인 방법새로운 모델 아키텍처 설계모델 크기(파라미터 수) 증가새로운 학습 알고리즘 개발최적화 기법 개선 예시GPT-2 → GPT-3 → GPT-4처럼모델 크기를 키우고Transfo..

📌 RAG vs Fine-tuning실무에서 가장 많이 나오는 질문 중 하나가 바로"RAG를 써야 할까? Fine-tuning을 해야 할까?" 이다. 두 기술은 목적 자체가 다르다.구분RAGFine-tuning🎯 목적외부 지식 활용모델 행동 변경📚 데이터최신 데이터 사용학습 데이터에 포함🕒 최신 정보 반영매우 강함약함✍️ 응답 스타일거의 변화 없음변경 가능💰 비용낮음높음 📚 RAG가 적합한 경우최신 정보를 계속 활용해야 하는 경우📄 기업 문서 검색📖 사내 Wiki 검색💱 최신 환율 조회⚖️ 오늘 발표된 법률 검색📢 실시간 정책 조회이처럼 자주 바뀌는 정보는 RAG가 훨씬 적합하다. 🎯 Fine-tuning이 적합한 경우모델의 행동 자체를 바꾸고 싶을 때 사용한다.예를 들어📦 JS..

Fine-tuning부터 PEFT, LoRA, SFT, Long Context까지 한 번에 이해하기: LLM은 이미 뛰어난 성능을 가지고 있지만, 기업 환경이나 특정 업무에서는 그대로 사용하기 어려운 경우가 많다.이때 사용하는 대표적인 방법이 바로 Fine-tuning(파인튜닝) 이다.📌 파인튜닝(Fine-tuning)이란?파인튜닝(Fine-tuning) 은 전이학습(Transfer Learning) 의 대표적인 방법이다.이미 대규모 데이터로 사전학습(Pre-trained) 된 모델을 특정 도메인이나 작업(Task) 에 맞게 추가 학습시키는 과정이다.쉽게 말하면,📚 사전학습은 세상의 일반적인 지식을 배우는 과정이고,🎯 파인튜닝은 특정 업무에 맞게 행동을 수정하는 과정이다.즉, 사전학습 모델을 원하는..

🚀 좋은 AI Agent는 잘 실행하는 것뿐만 아니라, 스스로 평가하고 기억할 수 있어야 한다AI Agent는 단순히 답을 생성하는 것으로 끝나지 않는다.목표를 제대로 달성했는지, Tool을 올바르게 사용했는지, 응답 속도와 비용은 적절한지까지 지속적으로 평가해야 한다.또한 여러 단계를 수행하는 Agent에게는 이전 작업을 기억하고 활용하는 Memory 역시 필수적인 요소다.이번 글에서는 Agent Evaluation과 Memory에 대해 정리해본다 📌 왜 Agent를 평가해야 하는가?일반적인 LLM은 하나의 질문에 하나의 답변을 생성한다.하지만 Agent는 여러 단계를 거쳐 작업을 수행한다.사용자 질문 ↓계획 생성 ↓Tool 선택 ↓Tool 실행 ↓결과 검증 ..