인공지능의 심화된 내용에 대해서 알아보자!최신 인공지능 동향
대규모 모델을 이용한 adaptation
대규모 모델을 바탕으로 여러 분야에 적용하는 방식을 많이 사용한다.
for: few-shot learning, fine-tuning(transfer learning)
여러 가지 파인 튜닝 종류 (PEFT란?: parameter-efficient fine tuning)
TISTORYLLM fine-tuning 전략 | PEFT - Parameter Efficient Fine Tuning
TISTORY
TISTORYLLM fine-tuning 전략 | PEFT - Parameter Efficient Fine TuningLLM fine-tuning 전략 | PEFT - Parameter Efficient Fine Tuning
Table of Contents ● Parameter Efficient Fine-tuning이란? ● 대표적인 PEFT 방법론 6가지 ● LLM에 적용 가능한 PEFT 방법론 3가지 Parameter Efficient Fine-tuning(PEFT)이란? 딥러닝 모델의 크기가 증가함에 따라, 기존과 같이 태스크에 따른 모델 튜닝에 있어 기존과 같이 모든 파라미터를 미세조정하는 full-fine-tuning 방식은 자원 측면에서 점점 불가능해지고 있다. 이에 파라미터 효율적으로 fine-tuning 하는 PEFT 방법이 활발하게 연구되고 있다. PEFT는 다운스트림 작업의 성능을 유지하거나 심지어 향상시키면서 학습에 필요한 계산량, 혹은 모델의 크기를 줄이는 것을 목표로 한다. PEFT는 아래와 같은 장점..
TISTORYNew AI!!
- 미드저니: 그림 그리는 애 (달리와 다르게 저작권의 제약 따위 받지 않음)
- 클루드: 코드 잘 짜주는 애