개요 나는 최근 로컬 LLM에 대한 흥미를 잃고 있다. 왜 굳이 로컬 LLM을 사용할까? 무료이기 때문이다. 로컬 리소스만 사용하여 모델을 무료로 계속 돌릴 수 있다는 장점과 어떠한 정보가 타 기업에게 넘어가는 사태를 방지하기 위한 점이 가장 크다고 생각한다. 하지만 나는 기업도 아니고, LLM이 추론한 결과가 구글에 넘어가도 아무런 상관이 없다. 게다가 나는 로컬 리소스도 그렇게 널널하지 않은 편이다. 이러한 이유로 인해 (미래에는 어떨지 모르지만) 온디바이스 LLM을 굳이 고집해야 할까? 라는 회의감도 들어서 발견한 것이 구글의 AI Studio이다....
개요 글을 작성하는 현 시점 기준으로 약 2주 전 라마3가 발표되었다. 성능이 어떨지 궁금했기 때문에 이번 기회에 라마3을 파인튜닝하자고 결심했다. 허깅페이스에 누군가 한국어 데이터셋에 맞춰 학습시켜놓은 모델이 있었기 때문에 파인튜닝 시 기본 영어 모델보다 한국어 성능이 나을 것이라고 판단하여 이 모델을 베이스로 사용하기로 했다. 학습 전 준비물 개발 환경 (GPU 클라우드) RTX 4090 X 1 Ubuntu 22.04 PyTorch 2.2.0 CUDA 12.1 충분한 자본금(4090 기준 시간 당 약 0.3~0.4달러) 초연한 자세 어떠한 오류가 터져도 화내지 않는 강건한 정신 채팅 데이터셋 AI Hub에서 가져온 주제별 텍스트 일상 대화 데이터 데이터 전처리 라이브러리(pypi) unsloth accelerate transformers trl datasets peft etc....