Llama31 8b Ko LoRA GGUF

--- language: - ko - en base_model: meta-llama/Llama-3.1-8B-Instruct library_name: transformers license: llama3.1 tags: - llama - korean - lora - sft --- # Llama 3.1 8B Instruct — Korean LoRA Meta의 Llama 3.1 8B Instruct에 한글 데이터로 LoRA (SFT) 학습 후 병합한 모델입니다. ## 학습 정보 | 항목 | 내용 | |------|------| | Base Model | meta-llama/Llama-3.1-8B-Instruct | | 학습 방식 | QLoRA (4bit) + SFT | | 학습 도구 | unsloth + TRL SFTTrainer | | GPU | NVIDIA A40 (48GB) | | 학습 시간 | 약 25분 | | LoRA rank | 32 | | LoRA alpha | 32 | | 학습률 | 2e-4 | | Epoch | 1 | | Batch size | 32 (effective 64) | | Max seq length | 2048 | ## 데이터셋 | 데이터셋 | 샘플 수 | 용도 | |----------|---------|------| | [beomi/KoAlpaca-v1.1a](https://huggingface.co/datasets/beomi/KoAlpaca-v1.1a) | 5,000 | 한글 Instruction | | [kyujinpy/KOpen-platypus](https://huggingface.co/datasets/kyujinpy/KOpen-platypus) | 3,000 | 추론/CoT | | [heegyu/PKU-SafeRLHF-ko](https://huggingface.co/datasets/heegyu/PKU-SafeRLHF-ko) | 1,000 | 안전 데이터 | 총 9,000건 ## 사용법 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("shinyuuuu/llama31-8b-ko-lora") tokenizer = AutoTokenizer.from_pretrained("shinyuuuu/llama31-8b-ko-lora") ``` GGUF 버전 (LM Studio 등): [shinyuuuu/llama31-8b-ko-lora-gguf](https://huggingface.co/shinyuuuu/llama31-8b-ko-lora-gguf) ## 라이선스 Llama 3.1 Community License에 따릅니다.

Source context: 26 downloads · 1 likes · Library transformers · Repo shinyuuuu/llama31-8b-ko-lora-gguf