Utils (8) 썸네일형 리스트형 np.savez_compressed로 np.array 여러개 한번에 저장 np.savez_compressed() import numpy as np mu = np.array([0.5, 0.5]) sigma = np.array([0.5, 0.5]) np.savez_compressed(paths[1], mu=mu, sigma=sigma) np.load() with np.load(path) as f: m, s = f['mu'][:], f['sigma'][:] Stochastic Differential Equation (SDE) 자료 공유 git-lfs (Large File System, LFS) 통해 대용량 데이터/레포지토리 다운받기 어느날과 다름없이 pickle 파일형식을 가진 데이터를 받아서 실험을 하려고 하던 그때, 갑자기 _pickle.UnpicklingError: invalid load key, 'v' . 라는 메세지가 뜨며 데이터를 못부르는 거다. 오류는 아래와 같다. 해당 오류는 repo를 git clone할 때, 모델 내의 파일의 사이즈가 너무 커서 이를 text file로 대체했기 때문에 key값을 불러오지 못해서 생기는 오류이다. 예를 들면 pickle file이 원래는 400MB정도 하는데 text file로 대체되었기 때문에 아래와 같이 1KB 정도의 적은 용량으로 표기되어있을 것이다. 이러한 이슈는 git-LFS로 올린 레포지토리를 그냥 받았기 때문에 생긴다. 대용량의 데이터를 레포지토리에 올릴 때, 용량이 너.. LaTex 표 만들기/수식 편집기 사이트 다음 두 가지 사이트 + 구글번역기만 있다면 논문도 두렵지 않을 것이다. (창작의 고통에 시달리는 모든 논문러들 화이팅) 1. 표 만들기 Windows terminal 설치 / 설정 변경하기 / 다양한 shell 추가하기 (anaconda prompt, cmder) 터미널 환경 컴퓨터의 interface는 크게 Graphical User Interface (GUI)와 Command Line Interface (CLI) 두 가지로 나눌 수 있다. 터미널 환경은 둘 중 CLI에 해당하고 마우스가 아닌 키보드로 명령(command)를 입력하는 방식을 통해 컴퓨터를 제어한다. 기본적으로 Window의 경우 윈도우키 + R 을 누르고 cmd 를 입력하여 터미널창을 열 수 있다. Shell (셸) 이란 무엇인가? 터미널의 명령어가 작동하는 interface 를 말한다. 셸을 통해 코어에 명령을 하면 코어에서 작동해서 리턴을 돌려준다. shell은 말그대로 껍데기라는 의미로, shell은 여러 종류가 존재한다. 윈도우의 powershell , cmd 등과 리눅스의 bashshe.. 명령 프롬프트(cmd)에서 특정 확장자 파일리스트 txt 파일로 저장하기 dir /s/b *.wav >tr.txt cmd창을 켜서 다음과 같이 한줄만 입력하면 순식간에 다 구해준다. Python 안써도 됌ㅎㅎ /s : 하위폴더에 있는 pcm파일도 다 찾아준다. /b: 최소포맷을 사용한다. *.wav : wav 확장자만 다 찾아준다. Window에서 GPU사용량 모니터링(nvidia-smi/ 작업 관리자) nvidia-smi 1. cmd창 열기(명령 프롬프트) 2. nvidia-smi.exe 경로 접근 cd C:\Program Files\NVIDIA Corporation\NVSMI 3. nvidia-smi.exe 실행 nvidia-smi.exe 4. 환경변수 설정 매번 경로로 접근하기 귀찮기 때문에 환경변수로 설정해두자. 먼저 시스템 환경변수 편집에 들어간다. path에 exe파일의 경로를 추가한다. cmd창을 한번 껐다가 켜면 아래와 같이 경로에 접속하지 않아도 실행 가능하다. 작업 관리자 검색으로 작업 관리자를 켜서 gpu에서 노란 하이라이트 친 부분을 클릭해 3D에서 Cuda로 변경한다. Window에서 Anaconda 가상환경 생성/활성화/삭제 아나콘다는 python기반 데이터분석을 위한 오픈소스를 모아놓은 것이다. 프로젝트마다 개별적으로 가상환경을 구축할 수 있어 프로젝트별 독립적인 라이브러리 관리가 가능하다. 가상환경에서 그 프로젝트에 필요한 라이브러리를 명령어 한 줄로 다운로드 할 수 있다. 이곳 에서 anaconda를 다운로드할 수 있고, anaconda prompt를 켜서 가상환경을 생성하고, 활성화, 삭제하는 방법을 알아보자. 가상환경 생성 맨 뒤에 anaconda를 붙여주면 spyder, jupyter notebook등을 같이 사용 가능하다. conda create -n 가상환경이름 python anaconda 가상환경 활성화 conda activate 가상환경이름 가상환경 패키지 확인 conda list 가상환경 정보 확인 con.. 이전 1 다음
