ML&DL/LLM (2) 썸네일형 리스트형 LangSmith 간단 사용법 DL에서 적당히 print문으로 결과를 확인한 것과 달리 LLM agent를 만들어놓으니 output tracing이 매우 귀찮았다. pretty_print 요런거 쓰다가 신문물인 Langsmith를 발견. 심화로 가면 복잡하게 설정할 것이 있으나 간단하게는 누구나 사용하기 쉽다. 1. Langsmith API Key를 발급한다.2. 프로젝트 폴더안에 .env 파일을 만들고 아래와 같이 작성한다.Langsmith API key인데 langchain API key에 넣어줘야한다. 그래서 헷갈림... # .envLANGCHAIN_TRACING_V2=trueLANGCHAIN_API_KEY="your key" # langsmith에서 받은 api keyLANGCHAIN_PROJECT=defaultOPENAI_A.. Linux에서 Ollama 사용법 On-premise 로컬 LLM 사용해보기 Ollama는 무엇인가?Ollama는 복잡한 환경설정이나 코드작성 없이도 터미널 명령 한 줄만으로 로컬 환경(On-premise)에서 최신 오픈소스 LLM을 즉시 다운로드하고 실행할 수 있게 해주는 LLM 실행 및 관리 솔루션이다. 대규모 트래픽용 상용 서빙툴로는 vLLM이더 적합하지만 개발용이나 개인 연구목적으로는 Ollama가 가볍고 간편해서 입문용으로 선택했다. On-premise는 내 서버나 컴퓨터의 실물장비 즉 로컬 GPU로 직접 모델을 돌리는 것을 말한다. 이는 클라우드 API를 활용해 개인 장비 없이 모델의 출력값만 받아오는 방식과 대조된다. 개인적으로 보안관련으로 On-premise에 대한 니즈가 있어서 Ollama를 써보게 되었는데 이것저것 해보면서 얻은 활용법이나 경험을 소개해보려고 한.. 이전 1 다음
