알파프로젝트

지피티

GPT-3 논문 정리 (Language Models are Few-Shot Learners)1. 문제의식이 논문은 기존 NLP 방식의 한계를 짚는 것에서 시작한다.전통적인 접근은 다음과 같다.특정 태스크마다 별도의 데이터셋 필요모델을 해당 태스크에 맞게 fine-tuning태스크가 바뀔 때마다 다시 학습즉,모델은 "하나의 작업"만 잘하도록 훈련된다하지만 인간은 다르게 동작한다.몇 개 예시만 보고도 새로운 작업 수행 가능별도의 재학습 없이도 일반화 가능논문은 이 차이를 문제로 본다.팁이 논문은 “더 좋은 모델 구조”보다**"학습 방식 자체를 바꿀 수 있는가"**라는 질문에서 출발한다.2. 핵심 주장논문의 핵심 메시지는 단순하다.모델을 충분히 크게 만들면, 별도의 fine-tuning 없이도 다양한 작업을 ..

알파프로젝트

로라

LoRA (Low-Rank Adaptation) 정리1. 왜 LoRA가 필요한가대형 언어모델을 실제로 써보면 가장 먼저 부딪히는 문제가 fine-tuning이다.모델이 크면 클수록 성능은 좋아지지만, 특정 태스크에 맞게 조정하려고 하면 비용이 급격하게 커진다.대표적으로:파라미터 수가 너무 많아서 GPU 메모리가 부족해진다학습 시간이 길어진다태스크마다 모델을 따로 저장해야 한다결국 문제는 하나로 정리된다.모델을 조금만 바꾸고 싶은데, 왜 항상 전체를 다 학습해야 하는가?LoRA는 이 질문에서 출발한다.팁LoRA를 이해할 때는 “성능 개선 방법”이 아니라,이미 좋은 모델을 얼마나 싸게 재사용할 수 있는가라는 관점으로 보는 게 핵심이다.2. 기본 아이디어LoRA는 기존 가중치를 직접 수정하지 않는다.대신, 변..

알파프로젝트

디피알

Q1. BM25와 DPR의 차이는 무엇인가?기존 검색 시스템에서는 BM25와 같은 Sparse Retrieval 방식이 사용되었다.구분BM25DPR방식키워드 기반 검색의미 기반 검색표현 방식Sparse VectorDense Vector학습 여부없음있음의미 이해약함강함예를 들어 다음과 같은 경우를 생각해보자.Questioncapital of Korea PassageSeoul is the largest city of South Korea BM25는 키워드가 정확히 일치하지 않으면 검색에 실패할 수 있지만,DPR은 의미 기반 검색이기 때문에 관련 문서를 찾을 수 있다.Q2. DPR에서 Dual Encoder 구조를 사용하는 이유는?DPR은 다음과 같은 구조를 사용한다.Question → Question Enc..

알파프로젝트

트랜스포머

Q1. Self-Attention은 왜 좋은가?Self-Attention의 장점은 크게 세 가지이다.(1) Long-range dependency 학습기존 RNN 구조에서는 문장이 길어질수록 멀리 떨어진 단어 간 관계를 학습하기 어려웠다.Self-Attention은 모든 토큰 간의 관계를 직접 계산하기 때문에 멀리 떨어진 단어 간의 의존성도 잘 학습할 수 있다.(2) 병렬 처리 가능RNN은 다음과 같이 순차적으로 계산된다.w1 → w2 → w3 → w4 하지만 Transformer는 모든 토큰을 동시에 처리한다.w1 w2 w3 w4(동시에 계산) 따라서 GPU를 활용한 병렬 처리가 가능해 학습 속도가 크게 향상된다.(3) 표현력 증가 (Multi-Head Attention)Multi-Head Attent..

산업체특강

[2025 AI OPEN HOUSE 특별강연]전세계 AI 3대 강국, 당신은 무엇을 하고있나? 청강 보고서

aSSIST University가 주최한 제6회 AI 오픈하우스 특별 강연은 글로벌 AI 경쟁 속에서 한국이 확보해야 할 기술적·산업적 전략을 논의하기 위해 마련되었다. SK텔레콤과 뤼튼테크놀로지스의 실무 책임자가 참여해 초거대 AI 인프라의 본질과 실제 기업의 AI 전환 과정까지 폭넓은 시각을 제시했다. 강연은 두 개의 Keynote로 구성되었다.1. Keynote 1 - AI 시대의 주요 기술과 서비스 그리고 미래발표자: 이종민 (SKT 부사장 / 미래R&D Lab장)첫 번째 세션에서는 글로벌 AI 경쟁이 미국과 중국을 중심으로 강화되는 상황에서, 한국이 AI 3대 강국으로 도약하기 위한 핵심 조건으로 AI Full Stack 역량이 강조되었다. 발표는 AI 산업을 AI Infra, AI Model,..

산업체특강

대한민국 가상융합산업대전(KMF) 관람 보고서

산업체 특강 과제로 나는 대한민국 가상융합산업대전(KOREA METAVERSE FESTIVAL 2025) 전시회에 참석했다. 이 행사는 인공지능(AI), XR, 메타버스, 디지털 휴먼 등 다양한 차세대 기술이 한자리에 모인 국내 대표적인 소프트웨어 및 AI 융합 전시회였다. 실제 산업 현장에서의 AI 활용 사례를 직접 보고 들을 수 있었던 소중한 경험이었다.1. ETRI – XR 상호작용을 위한 다자간 동작인식 기술한국전자통신연구원(ETRI) 부스에서는 XR 상호작용을 위한 다자간 동작 인식 기술을 소개하고 있었다. 이 기술은 다중 RGBD 센서를 이용해 공간 안의 여러 사용자의 위치와 동작을 동시에 인식하고, 이를 실시간으로 XR 환경에 반영하는 시스템이다. 즉, 현실 속 사람들의 움직임을 인공지능 기..