Utils (11) 썸네일형 리스트형 VSCode에서 숨김파일 모두 숨기기 오른쪽 맨위 '...'에 들어가서files.exclue 누르고Add Pattern에 **/.* 추가! Docker내에서 conda 가상환경 만들기 기존 Docker 환경에 설치된 패키지 버전이 새로 실행하려는 리포지토리의 의존성과 충돌하여, Docker 컨테이너 내부에 별도의 가상 환경을 구성하여 사용하였다. 그냥 여느 가상환경을 만드는 것처럼 아래와 같이 해보았는데, conda create -n myenv python=3.10 conta activate myenv 아래 오류가 발생했다. CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.To initialize your shell, run $ conda init Currently supported shells are: - bash - fish - tcsh - xonsh .. INTEL MKL ERROR/faiss 버전문제 해결 faiss 패키지로 유사도 계산하는 코드를 쓰려다가 해당 문제를 발견하셨나요? INTEL MKL ERROR: /opt/conda/lib/python3.8/site-packages/faiss/../../.././libmkl_def.so: undefined symbol: mkl_sparse_optimize_bsr_trsm_i8.Intel MKL FATAL ERROR: Cannot load libmkl_def.so. faiss 버전을 다음과 같이 설정하면 해결됩니다! 왜인지 나는 faiss-gpu로 받으면 INTEL MKL error가 뜬다.(환경: 리눅스 RTX3090 or A40) pip install faiss-cpu==1.7.3 np.savez_compressed로 np.array 여러개 한번에 저장 여러 Numpy변수들을 같이 저장하고 싶을 때가 있다. 예를 들어, standard scaling에 필요한 mean, variance 같은 변수들은 묶어서 저장하는 게 편하다. 그럴 때 요 함수를 사용하면 된다. np.savez_compressed()import numpy as npmu = np.array([0.5, 0.5])sigma = np.array([0.5, 0.5])np.savez_compressed(paths[1], mu=mu, sigma=sigma) np.load()with np.load(path) as f: m, s = f['mu'][:], f['sigma'][:] Stochastic Differential Equation (SDE) 자료 공유 git-lfs (Large File System, LFS) 통해 대용량 데이터/레포지토리 다운받기 어느날과 다름없이 pickle 파일형식을 가진 데이터를 받아서 실험을 하려고 하던 그때, 갑자기 _pickle.UnpicklingError: invalid load key, 'v' . 라는 메세지가 뜨며 데이터를 못부르는 거다. 오류는 아래와 같다. 해당 오류는 repo를 git clone할 때, 모델 내의 파일의 사이즈가 너무 커서 이를 text file로 대체했기 때문에 key값을 불러오지 못해서 생기는 오류이다. 예를 들면 pickle file이 원래는 400MB정도 하는데 text file로 대체되었기 때문에 아래와 같이 1KB 정도의 적은 용량으로 표기되어있을 것이다. 이러한 이슈는 git-LFS로 올린 레포지토리를 그냥 받았기 때문에 생긴다. 대용량의 데이터를 레포지토리에 올릴 때, 용량이 너.. Overleaf로 논문쓸 때 필요한 것들: LaTex 표 만들기/수식 편집기/Latexit/ChatGPT 다음 몇가지 툴 + ChatGPT 있다면 논문도 두렵지 않을 것이다.(창작의 고통에 시달리는 모든 논문러들 화이팅) 1. 표 만들기 Create LaTeX tables online – TablesGenerator.comYou can import table data by uploading file in CSV format (Comma Separated Value). Most spreadsheet software, both desktop and online, allows to save tabular data in CSV format — it is usually available in the File menu under the name "Save As..." or "Exwww.tablesgenerator.co.. Windows terminal 설치 / 설정 변경하기 / 다양한 shell 추가하기 (anaconda prompt, cmder) 터미널 환경 컴퓨터의 interface는 크게 Graphical User Interface (GUI)와 Command Line Interface (CLI) 두 가지로 나눌 수 있다. 터미널 환경은 둘 중 CLI에 해당하고 마우스가 아닌 키보드로 명령(command)를 입력하는 방식을 통해 컴퓨터를 제어한다. 기본적으로 Window의 경우 윈도우키 + R 을 누르고 cmd 를 입력하여 터미널창을 열 수 있다. Shell (셸) 이란 무엇인가? 터미널의 명령어가 작동하는 interface 를 말한다. 셸을 통해 코어에 명령을 하면 코어에서 작동해서 리턴을 돌려준다. shell은 말그대로 껍데기라는 의미로, shell은 여러 종류가 존재한다. 윈도우의 powershell , cmd 등과 리눅스의 bashshe.. 이전 1 2 다음
