HomeAboutMeBlogGuest
© 2025 Sejin Cha. All rights reserved.
Built with Next.js, deployed on Vercel
장지원 페이지/
📕
2024 UGRP/
Member Page
Member Page/
[Summer 07월] LoRA (Low-Rank Adaptor)

[Summer 07월] LoRA (Low-Rank Adaptor)

Task 1
Task 2

LoRA (Low-Rank Adaptor)

  • Important Paradigm on the Natural Language Model
    • Large-scale pre-training on general domain data & adaptation on general tasks
    • 데이터 학습량이 커질수록 model parameter setting 필요성이 많아져서 비효율적임
 
Ex) GPT-3 175B
  • 175B에 해당하는 독립적인 인스턴스들을 배포하는 것이 매우 값비쌈
 
 
notion image
Using LoRA adapters — vLLM
You are viewing the latest developer preview docs. Click here to view docs for the latest stable release.
Using LoRA adapters — vLLM
https://docs.vllm.ai/en/latest/models/lora.html
 
 
notion image
 
LoRA를 통한 효율적인 미세 조정: 대규모 언어 모델을 위한 최적의 파라미터 선택 가이드 | Databricks Blog
매개 변수 효율적 방법 중 가장 인기 있고, 효과적인 변형인 저순위 적응(LoRa)을 살펴보세요.
LoRA를 통한 효율적인 미세 조정: 대규모 언어 모델을 위한 최적의 파라미터 선택 가이드 | Databricks Blog
https://www.databricks.com/kr/blog/efficient-fine-tuning-lora-guide-llms
LoRA를 통한 효율적인 미세 조정: 대규모 언어 모델을 위한 최적의 파라미터 선택 가이드 | Databricks Blog
 
 
LightningAILightningAICode LoRA from Scratch - a Lightning Studio by sebastian
Code LoRA from Scratch - a Lightning Studio by sebastian

Code LoRA from Scratch - a Lightning Studio by sebastian

LoRA (Low-Rank Adaptation) is a popular technique to finetune LLMs more efficiently. This Studio explains how LoRA works by coding it from scratch, which is an excellent exercise for looking under …

LightningAILightningAI