https://github.com/tloen/llama-int8
https://github.com/facebookresearch/llama/issues/79#issuecomment-1454687232
This is a fork of the LLaMA code that runs LLaMA-13B comfortably within 24 GiB of RAM
https://github.com/go-noah/llama
LLaMA 7B example
Deeplearning
LLaMA: INT8 edition
by OBG posted Mar 09, 2023
Articles
- How to stop programmers to copy the code from GitHub when they leave the company?
- 10 Useful/Fun/Weird Github Repos You Have to Play Around With
- 모든 개발자를위한 10 가지 특별한 GitHub 리포지토리
- 마이크로소프트가 공개한 무료 AI 코스들
- 내 마음대로 선정한 머신러닝/딥러닝 학습 추천 서적
- LSTM-AE를 이용한 시퀀스 데이터 이상 탐지
- Top 3 most used Pytorch Ecosystem Libraries you should Know about
- [번역]거대언어모델(LLM) 가이드
- PyTorch 딥러닝 챗봇
- Debugging Node.js Memory Leaks: How to Detect, Solve or Avoid Them in Applications
- LLM 출력 속도 24배 높여주는 라이브러리 등장했다
- [한빛미디어] 머신러닝·딥러닝 도서 선택 가이드
- Numpy의 axis 변경
- Design a Basic Search Engine (Google or Bing) | System Design Interview Prep
- SSH-Tunneling을 통한 MySQL 서버 연결
- Reinforcement Learning for Dynamic Pricing Suggestion
- 추천 시스템
- 잡담) AWS에 서버 띄워 놓으니 벼라별 리퀘스트가 다 날아 오네요
- PM2를 활용한 Node.js 무중단 서비스하기
- LLaMA: INT8 edition