본문 바로가기

분류 전체보기248

LLM 파인튜닝과 파라미터 수 파인튜닝(Fine-tuning) 과정에서 모델의 파라미터 수가 증가하는지에 대해 생각해 봅니다. 일반적으로 파인튜닝은 기존의 사전 학습된 모델을 기반으로 특정 작업이나 도메인에 맞게 조정하는 과정입니다. 이 과정에서 기존 모델의 파라미터는 그대로 유지되며, 추가적인 파라미터가 생성되지 않습니다.파인튜닝의 기본 원리기존 파라미터 유지: 파인튜닝은 사전 학습된 모델의 가중치(파라미터)를 초기화한 후, 새로운 데이터셋에 맞춰 이 가중치들을 조정하는 방식으로 진행됩니다. 즉, 기존 모델의 파라미터 수는 변하지 않습니다.추가 파라미터의 사용: 일부 파인튜닝 기법, 예를 들어 Low-Rank Adaptation(LoRA)와 같은 방법은 기존 모델의 파라미터를 동결(freeze)하고, 새로운 파라미터를 추가하여 모델.. 2025. 3. 9.
우수한 LLM을 파인튜닝 이유 LLM 파인튜닝: 왜 필요한가?LLM(대규모 언어 모델)은 방대한 데이터로 학습하여 일반적인 지식과 언어 처리 능력을 갖추고 있습니다. 그러나 특정 전문 분야에서 정확하고 심층적인 답변을 제공하기 위해서는 **파인튜닝(Fine-tuning)**이 필수적입니다. 이번 글에서는 LLM이 이미 전문가적 지식을 보유하고 있음에도 불구하고, 전문 분야에 특화시키기 위해 파인튜닝이 필요한 이유를 살펴보겠습니다.1. LLM의 일반 지식과 한계LLM은 다양한 주제에 대한 광범위한 지식을 학습했지만, 이는 대부분 표면적인 수준에 머물러 있습니다. 예를 들어:의학 분야: 일반적인 질병 정보는 제공할 수 있지만, 특정 치료법이나 최신 연구 결과에 대한 깊이 있는 답변은 부족할 수 있습니다.법률 분야: 계약서 조항이나 법적 .. 2025. 3. 9.
LLM의 학습 원리 LLM(대규모 언어 모델)의 학습 원리는 주로 두 가지 주요 단계로 나눌 수 있습니다: 사전 학습(Pre-training)과 파인 튜닝(Fine-tuning)입니다. 이 두 단계는 LLM이 자연어를 이해하고 생성하는 능력을 갖추도록 하는 핵심 과정입니다.1. 사전 학습(Pre-training)사전 학습 단계에서는 LLM이 방대한 양의 텍스트 데이터를 사용하여 언어의 구조와 의미를 학습합니다. 이 과정은 다음과 같은 절차로 진행됩니다:데이터 수집: 다양한 출처(예: 웹사이트, 책, 뉴스 기사)에서 대규모 텍스트 데이터를 수집합니다. 이 데이터는 모델이 언어를 이해하는 데 필요한 기초 자료가 됩니다.전처리 및 토큰화: 수집된 데이터는 정리되고 표준화된 후, 토큰이라는 작은 단위로 나뉩니다. 이 과정은 모델이.. 2025. 3. 9.
LLM의 개념과 작동 원리 LLM(거대 언어 모델)은 자연어 처리(NLP) 분야에서 중요한 기술로, 많은 사람들이 이 기술의 원리를 이해하고 활용할 수 있도록 돕는 것이 중요합니다. 아래에서는 LLM의 기본 원리를 초심자도 쉽게 이해할 수 있도록 설명하겠습니다.LLM의 기본 개념LLM은 대량의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하는 능력을 가진 인공지능 모델입니다. 이 모델은 주로 다음과 같은 작업을 수행합니다:텍스트 생성: 주어진 입력에 따라 자연스러운 문장을 생성합니다.질문 응답: 사용자가 질문을 하면 그에 대한 적절한 답변을 제공합니다.번역: 한 언어에서 다른 언어로 텍스트를 번역합니다.요약: 긴 문서를 짧고 간결한 형태로 요약합니다.LLM의 작동 원리LLM의 핵심 기술은 트랜스포머(Transformer) .. 2025. 3. 9.
word cloud 개발일지 ㅇ 핵심 기능 : 데이터 읽기, 데이터 클렌징(replace함수), WordCloud(wordcloud 패키지), masked word cloud # 파일 쓰기 # # f = open("test.txt", "w", encoding="utf-8") # f.write("안녕, 스파르타!\n") # for i in [1,2,3,4,5]: # f.write(f'{i} 번째 좋아요\n') # # f.close() # 파일 읽기 # with open("test.txt", "r", encoding="utf-8") as f: # lines = f.readlines() # for line in lines: # print(line) # # # 파일 읽기 # text = '' # with open("test.txt", "r.. 2021. 9. 16.
web crawl 개발일지 ㅇ 핵심 기능 : openpyxl, append, 웹브라우저의 검사 기능과 엘리먼트 파악 - thumbnail = article.select_one('a > img')['src'] from bs4 import BeautifulSoup from selenium import webdriver driver = webdriver.Chrome('chromedriver') from openpyxl import Workbook wb = Workbook() ws1 = wb.active ws1.title = "articles" ws1.append(["제목", "링크", "신문사", "썸네일"]) url = "https://search.naver.com/search.naver?&where=news&query=추석" dri.. 2021. 9. 15.

티스토리툴바