본문 바로가기

AI metacog6

LLM 파인튜닝과 파라미터 수 파인튜닝(Fine-tuning) 과정에서 모델의 파라미터 수가 증가하는지에 대해 생각해 봅니다. 일반적으로 파인튜닝은 기존의 사전 학습된 모델을 기반으로 특정 작업이나 도메인에 맞게 조정하는 과정입니다. 이 과정에서 기존 모델의 파라미터는 그대로 유지되며, 추가적인 파라미터가 생성되지 않습니다.파인튜닝의 기본 원리기존 파라미터 유지: 파인튜닝은 사전 학습된 모델의 가중치(파라미터)를 초기화한 후, 새로운 데이터셋에 맞춰 이 가중치들을 조정하는 방식으로 진행됩니다. 즉, 기존 모델의 파라미터 수는 변하지 않습니다.추가 파라미터의 사용: 일부 파인튜닝 기법, 예를 들어 Low-Rank Adaptation(LoRA)와 같은 방법은 기존 모델의 파라미터를 동결(freeze)하고, 새로운 파라미터를 추가하여 모델.. 2025. 3. 9.
우수한 LLM을 파인튜닝 이유 LLM 파인튜닝: 왜 필요한가?LLM(대규모 언어 모델)은 방대한 데이터로 학습하여 일반적인 지식과 언어 처리 능력을 갖추고 있습니다. 그러나 특정 전문 분야에서 정확하고 심층적인 답변을 제공하기 위해서는 **파인튜닝(Fine-tuning)**이 필수적입니다. 이번 글에서는 LLM이 이미 전문가적 지식을 보유하고 있음에도 불구하고, 전문 분야에 특화시키기 위해 파인튜닝이 필요한 이유를 살펴보겠습니다.1. LLM의 일반 지식과 한계LLM은 다양한 주제에 대한 광범위한 지식을 학습했지만, 이는 대부분 표면적인 수준에 머물러 있습니다. 예를 들어:의학 분야: 일반적인 질병 정보는 제공할 수 있지만, 특정 치료법이나 최신 연구 결과에 대한 깊이 있는 답변은 부족할 수 있습니다.법률 분야: 계약서 조항이나 법적 .. 2025. 3. 9.
LLM의 개념과 작동 원리 LLM(거대 언어 모델)은 자연어 처리(NLP) 분야에서 중요한 기술로, 많은 사람들이 이 기술의 원리를 이해하고 활용할 수 있도록 돕는 것이 중요합니다. 아래에서는 LLM의 기본 원리를 초심자도 쉽게 이해할 수 있도록 설명하겠습니다.LLM의 기본 개념LLM은 대량의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 능력을 가진 인공지능 모델입니다. 이 모델은 주로 다음과 같은 작업을 수행합니다:텍스트 생성: 주어진 입력에 따라 자연스러운 문장을 생성합니다.질문 응답: 사용자가 질문을 하면 그에 대한 적절한 답변을 제공합니다.번역: 한 언어에서 다른 언어로 텍스트를 번역합니다.요약: 긴 문서를 짧고 간결한 형태로 요약합니다.LLM의 작동 원리LLM의 핵심 기술은 트랜스포머(Transformer) .. 2025. 3. 9.
추천 시스템과 동향 한양대 김상욱 교수님 개념 target 유저의 취향에 부합하는 정보를 제공 프로세스 분석 -선택- 개인화 사례 amazon, netflix 추천시스템의 분류 content-based approach : 선호 대상의 부합 콘텐츠 CF(collaborative filtering) approach Trust-based approach : 유저의 신뢰관계 Hybrid approach content-based approach 남의 것은 보지 않고, 대상 사용자가 본 내용과 관계를 이용한 분석 - 타겟 유저의 관심 콘텐트를 보고 유저의 프로파일 추출 - 아이템 프로파일 추출 - content마다 다른 정보 생성으로 다른 카테고리에 확대 적용 한계 Trust-based approach 유저들의 신뢰관계를 이용하여 추.. 2021. 8. 10.
computer vision 최근 연구 동향 딥러닝의 구성요소 데이터, HW, 알고리즘(ADMIN, attention, batch norm) 딥러닝의 적용 분야 컴퓨터 비전 자연어 처리 음성인식 게임 인공지능 의료 법률 금융 음악 : OpenAI(Jukebox) 컴퓨터비전 기본 태스크 인식 태스크 : 과거 생성 및 변환 태스크 : 현재 활발 인식 태스크 존재 이미지/비디오를 통해 판단 생성 태스크 thispersondoesnotexist.com : 사람 얼굴을 생성 - 2019년도 StyleGAN2 변환 태스크 이미지에서 원하는 요소를 변경(CycleGAN) CNN 컴퓨터비전 분야에서 가장 큰 성공을 가져온 모델 입력-Feature 학습 - 분류 - 부분별로 인식하고 조합해서 최종 판단 상세 - convol. + relu pooling convol.. 2021. 8. 10.
자연어 처리와 최신 동향 자연어 처리 중의성 해소가 중요 분석 단계 형태소 분석 , 구분분석, 의미분석, 담화분석 구분 분석 어휘적 중의성과 구조적 중의성 의미 분석 단어 중의성 해소 - 단어의 현재 문장에서의 의미 분석 의미역 결정 - 서술어와 관계있는 논항의 역할을 결정 담화 분석 자연어 처리 응용 기계번역, 문서요약, 질의응답, 정보추출(인식-관계추출,이벤트추출) 대화시스템 감성분석, 문서분류, Text style transfer(구어체를 문어처로 변경), text simplification NLI(2개의 의미의 동일/상이 여부) 최근 동향 응용 분야에 대한 태스크가 관심 분야로 부각 End-to-end model로 발전 : 자연어 처리의 중간단계 과정을 딥러닝이 해결 - 소스언어에서 타겟 텍스트를 생성해 주는 형태로 발전.. 2021. 8. 10.

티스토리툴바