Posts

Orion-14B 본 포스팅은 Orion-14B-Chat을 기준으로 한다. llama.cpp Orion-14B 모델 Orion-14B-Chat in HuggingFace 추론 환경 CMake 설치 brew install cmake llama.cpp 환경 클론 git clone https://github.com/ggerganov/llama.cpp cd llama.cpp llama.cpp 환경 빌드 mkdir build cd build cmake .. cmake --build . --config Release Orion-14B 모델 다운로드 허깅페이스의 Orion-14B 모델을 허깅페이스 API로 로컬에 다운로드하려면 아래의 코드를 실행해야 한다. import torch from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.generation.utils import GenerationConfig tokenizer = AutoTokenizer.from_pretrained("OrionStarAI/Orion-14B", use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM....

개요 최근 대형 언어 모델은 멀티모달과 결합한 방향으로 변하고 있다. 구현 방식에 몇 가지 유형이 있지만, 공통적으로 멀티모달 데이터 임베딩을 자연어 임베딩 공간으로 매핑한 후, 이를 언어 모델 추론을 위한 입력으로 활용한다. 대형 멀티모달 모델의 큰 접근은 아래와 같다. 중요한 트렌드 멀티모달 이해에서 생성으로 그리고 모달리티 간의 변환 (Any-to-Any) (예시: MiniGPT-4 → MiniGPT-5 → NExT-GPT) Pre-Training - Supervised Fine-Tuning - RLHF으로의 훈련 파이프라인 (예시: BLIP-2 → InstructBLIP → DRESS) 다양한 모달리티으로의 확장...

개요 대규모 언어 모델은 자연어 이해, 생성, 복잡한 추론과 같은 작업에서 뛰어난 능력을 보여주었다. 그러나 대규모 언어 모델은 막대한 하드웨어 리소스가 필요하고, 효율성을 위한 기술 개발의 니즈가 발생하였다. 이 기술 동향은 효율적인 대규모 언어 모델을 위해 몇 가지 기술 분류와 최근 동향을 제안한다. Model Compression Weight-Only Quantization (PTQ) GPTQ: Accurate Quantization for Generative Pre-trained Transformers, [Paper] [Code] ICLR, 2023 QuIP: 2-Bit Quantization of Large Language Models With Guarantees, [Paper] [Code] arXiv, 2023...

1. 졸업과 취업 졸업 (1분기) 석사 디펜스를 끝내고, 완전히 학교를 떠났다. 포항과 서울을 2주마다 오가곤 했으니, 타지에서 지내는 외로움이 컸다. 그렇지만 개개인 퍼포먼스가 훌륭한 연구실 친구들은 나에게 큰 자산이다. 연구적으로 디스커션도 많이하고, 같은 업계에 있으니 서로 동향을 알기 좋은 사람들이다. 일전에도 말한바 있지만, 학위로 얻은 것은 다음과 같이 정리한다. 내가 무엇을 공부를 하든 스스로 커리큘럼을 설계하고, 학습할 수 있는 능력 체계적, 논리적으로 고민하고 그 결과를 계층적 구조로 작문하는 능력 나는 연구가 잘 풀린 사람은 아니다....

재능있는 척 하지 않기 재능 있는 척 하지 않기 이 글은 브랜치의 “향로"님의 글을 보고 나에게 대입하여 재정리하였다. 요약하자면 작가는 개발을 잘 하지 못했던 시절에, 따로 공부했다는 사실을 주변에 알리고 싶지 않아했다. 왜냐하면 못한 성과에 대해서 재능이 없는 것이 아니라, 노력이 부족했다는 면피성 명분을 만들수 있기 때문이었다. 나의 이야기 올 여름~가을 나는 회사에서 (개인적으로 스스로가 너무 절망적이었던) 퍼포먼스가 너무 좋지 못한 태스크를 수행중이었다. 나는 “내가 잘 모른다. 어렵다. 그러니 나를 도와주었으면 좋겠다....

ICCV 2023 ICCV 2023 Link Papers ICCV 2023이 열리고 있다. NeRF, Multimodal/VQA, Model Compression 위주로 트래킹한다. (일부 특이한 연구도 포함) Neural Radiance Fields NeRF-MS: Neural Radiance Fields with Multi-Sequence Peihao Li et al. Re-ReND: Real-time Rendering of NeRFs across Devices Sara Rojas et al. CLNeRF: Continual Learning Meets NeRF Zhipeng Cai, Matthias Muller Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction Hansheng Chen et al. SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields...

대규모 언어 모델의 경량화 동향 Abstract LLM은 거대한 크기와 계산량으로 인해, 리소스 제한적인 환경에서의 배포를 어렵게 만듬 LLM의 압축이 중요한 분야임. 이 서베이는 LLM 압축 기술의 많은 자료를 제공함 Quantization, Pruning, KD 등 다양한 방법론을 탐구하며, 최신 연구와 접근법을 보여줌 압축된 LLM을 평가하기 위한 메트릭에 대한 조사도 진행함 Introduction & Method 대규모 언어 모델은 다양한 태스크에서 뛰어난 능력을 보여주고 있다. 그럼에도 모델의 방대한 크기와 요구되는 계산량때문에 배포에서 많은 어려움이 따른다. 2020년의 GPT-175B 모델은 1,750억 개 파라미터이다....

LLM 동향 LLM 모델 그 자체부터 응용/생산성을 위한 갖가지 방법을 섞은 모델, 기술들이 계속 나오고 있다. 그러다가 근래에는 그 정도가 사그라든 느낌이 드는데, 이 틈이 딱 공부하기 좋은 시기라고 생각한다. LLM에 관련한 모든 논문은 볼 수 없어도, 히스토리나 최근의 동향을 볼 수 있는 서베이 논문이 많이 나와서 리스트업한다. 시간날 때 읽어보면 각 분야의 개별 연구자 및 개발자들이 어떤 시각으로 LLM을 활용하거나 바라보는지 최신 연구들을 추적할 기회이다. Large Language Models Survey on Large Language Models...

나의 문제점 0. 왜 이 글을 쓰는가? 짧고, 긴 시간 동안 나하고 같이 지낸 소중한 사람들로부터 몇 가지 피드백과 조언을 얻을 때가 있다. 그러한 조언 중 공통된 문장을 정리해서 내가 어떤 단점이 있는지 생각하고 이를 개선할 방법을 고민한다. 1. 나는 다른 사람에게 관심이 없다. 나는 다른 사람에게 관심이 없다. 이것은 타고나는 성향일 가능성이 크다. 갑자기 남에게 관심을 많이 가지라고 하는 것은 고문에 가깝다. 그렇지만 다른 사람과의 지속적인 커뮤니케이션을 위한다면, “관심있는 척” 이라도 해본다....

어떻게 배우며 살 것인가? 이 책에 담긴 최재천 교수와 안희경 저널리스트 간의 대화록은 두 가지 관점으로 이야기가 흐른다. 하나는 “개인 차원에서의 학습” 이고, 둘째는 “사회 차원에서의 교육” 이다. 사회 차원에서의 교육도 겉으로는 “어떻게 가르칠까?” 의 미래적 고민을 담지만, 그렇다고 명확한 교수법을 딱 가이드라인을 세울 수는 없다. 하지만 어느정도 적절한 방법은 있을 수 있다. 그 중 저자가 추구하는 방법은 여러 사람의 생각과 경험이 한데 섞여, 어울려 학습하는 현장을 만드는 것이다. 하지만 올바른 교육법도 교육 받는 주체가 “바른 학습” 이 가능하다는 가정에서, 어떻게 그것을 지속할지의 해답에 불과하다고 생각한다....