전체 (166) 썸네일형 리스트형 LangSmith 간단 사용법 DL에서 적당히 print문으로 결과를 확인한 것과 달리 LLM agent를 만들어놓으니 output tracing이 매우 귀찮았다. pretty_print 요런거 쓰다가 신문물인 Langsmith를 발견. 심화로 가면 복잡하게 설정할 것이 있으나 간단하게는 누구나 사용하기 쉽다. 1. Langsmith API Key를 발급한다.2. 프로젝트 폴더안에 .env 파일을 만들고 아래와 같이 작성한다.Langsmith API key인데 langchain API key에 넣어줘야한다. 그래서 헷갈림... # .envLANGCHAIN_TRACING_V2=trueLANGCHAIN_API_KEY="your key" # langsmith에서 받은 api keyLANGCHAIN_PROJECT=defaultOPENAI_A.. Linux에서 Ollama 사용법 On-premise 오픈소스 LLM 사용해보기 Ollama는 무엇인가?Ollama는 복잡한 환경설정이나 코드작성 없이도 터미널 명령 한 줄만으로 로컬 환경(On-premise)에서 최신 오픈소스 LLM을 즉시 다운로드하고 실행할 수 있게 해주는 LLM 실행 및 관리 솔루션이다. 대규모 트래픽용 상용 서빙툴로는 vLLM이더 적합하지만 개발용이나 개인 연구목적으로는 Ollama가 가볍고 간편해서 입문용으로 선택했다. On-premise는 내 서버나 컴퓨터의 실물장비 즉 로컬 GPU로 직접 모델을 돌리는 것을 말한다. 이는 클라우드 API를 활용해 개인 장비 없이 모델의 출력값만 받아오는 방식과 대조된다. 개인적으로 보안관련으로 On-premise에 대한 니즈가 있어서 Ollama를 써보게 되었는데 이것저것 해보면서 얻은 활용법이나 경험을 소개해보려고 한.. 한 해를 돌아보며 1. 누가 볼까 싶은 글을 작성합니다. 독자는 아마도 나밖에 없을 것도 같아요. 그럼에도 일기장이 아니라 블로그에 이런 글을 작성하는 이유는 블로그를 방치했다는 것에 대한 일종의 죄책감 때문일까요. 뭐라도 남겨야겠다는 생각을 했나봅니다. 요새는 블로거인 저 역시도 블로그 글을 검색하기보다는 LLM에게 물어보게 됩니다. 그럼에도 불구하고 블로그 글을 봐야하는 이유가 뭘까 무엇이 달라야하나를 고민하다가 글을 올리지 못했다는 핑계(?)를 대봅니다.. LLM은 블로그와 달리 질답의 구조를 가진다는 점에서 즉각 궁금증을 해소할 수 있다는 장점이 매우 강력하다고 느낍니다. 공부라는 것이 그렇잖아요. 모르는 것을 질문으로 만드는 과정에서 무엇을 모르는 지가 정리되잖아요. 블로그도 물론 댓글을 달 수 있지만 LLM과의.. MAP와 Regularization(Ridge/Lasso)의 관계 이전 포스팅에서는 "데이터의 노이즈가 가우시안 분포를 따른다"는 가정하에, MLE(최대 우도 추정)가 우리가 흔히 쓰는 최소 제곱법(Least Square)과 수학적으로 동일하다는 것을 증명했다. $$\text{MLE} \approx \text{Minimize MSE (Mean Squared Error)}$$ 하지만 MLE(또는 최소 제곱법)에는 치명적인 단점이 하나 있다. 바로 과적합(Overfitting)이다. 모델이 학습 데이터에 너무 과도하게 맞춰진 나머지, 파라미터(Weight) 값들이 비정상적으로 커지거나 불안정해지는 현상이다. 머신러닝에서는 이를 막기 위해 손실 함수(Loss Function)에 규제항(Regularization Term)을 추가한다. $$\text{Loss} = \text{.. VSCode에서 숨김파일 모두 숨기기 오른쪽 맨위 '...'에 들어가서files.exclue 누르고Add Pattern에 **/.* 추가! Docker내에서 conda 가상환경 만들기 기존 Docker 환경에 설치된 패키지 버전이 새로 실행하려는 리포지토리의 의존성과 충돌하여, Docker 컨테이너 내부에 별도의 가상 환경을 구성하여 사용하였다. 그냥 여느 가상환경을 만드는 것처럼 아래와 같이 해보았는데, conda create -n myenv python=3.10 conta activate myenv 아래 오류가 발생했다. CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.To initialize your shell, run $ conda init Currently supported shells are: - bash - fish - tcsh - xonsh .. Unsupervised Anomaly Detection for Tabular Data Using Noise Evaluation 논문 리뷰 Jicong Fan 교수방에서 나온 논문이고 (논문링크) AAAI25에 accept되었다. related work 조사를 안하는건지 아니면 못본척 하는건지 TabAD SOTA 논문들과 비교를 안하고 있다. 또 용어도 최근에 다시 정립된 용어를 쓰지 않고....ㅠㅠㅠ 옛날에 써둔걸 제출한건가 싶다. (TabAD에서는 normal만 train하는 setting을 최근 semi-supervised라 부르고 있는데 unsupervised AD로 부른다던가...) 하지만 idea자체는 명료하고 말이 된다. 앞선 포스팅에서의 PReNet은 real anomaly를 활용하여 normal과 anomaly와의 점수차를 학습하였다면, 해당 논문은 real anomaly 없이 noise를 추가한 샘플이 hard anomal.. Deep Weakly-supervised Anomaly Detection 논문 리뷰 이 논문의 baseline이기도 한 DevNet의 저자인 Guanson Pang의 후속연구로 KDD23에 accept된 Deep weakly supervised anomaly detection 논문을 리뷰하려고 한다. Real-world에서는 기존에 많이 연구되는 normal만으로 training하는 setting보다 labeled anomaly도 일부 존재하는 상황이 더 있음직하다. 해당 논문은 더 나아가 seen anomaly가 전체 anomaly를 대표하지 못하는 경우를 가정한다. 상황도 납득이 가고 data pair를 3가지 조합으로 만들어 학습의 다양성을 높이고 조합에 따라 점수를 다르게 주어 binary가 아닌 3-level의 score를 학습한다는 점이 신박하고 쉬워서 재밌게 읽었다.Intr.. 이전 1 2 3 4 ··· 21 다음
