애플 온디바이스 AI 관련

64G M2 max 맥북에서 70B 라마2 4bit 양자화 모델 돌리는 영상

https://twitter.com/junrushao/status/1681828325923389440

온디바이스 AI 대결서 애플 'M3'가 엔비디아 'RTX4090' GPU 압도
https://www.aitimes.com/news/articleView.html?idxno=155856

아이폰16이 위협적일 수 있는 이유···애플의 생성 AI 전략 3가지
https://www.tech42.co.kr/%EC%95%84%EC%9D%B4%ED%8F%B016%EC%9D%B4-%EC%9C%84%ED%98%91%EC%A0%81%EC%9D%BC-%EC%88%98-%EC%9E%88%EB%8A%94-%EC%9D%B4%EC%9C%A0%C2%B7%C2%B7%C2%B7%EC%95%A0%ED%94%8C%EC%9D%98-%EC%83%9D%EC%84%B1-ai-%EC%A0%84/

Casually running a 180B parameter LLM on M2 Ultra

https://twitter.com/ggerganov/status/1699791226780975439

결론: m1 ~ m3 칩셋은 GPU 메모리가 공유되는 구조이다보니 모델 추론시 이점을 가짐. 온디바이스 AI 성능이 안드로이드 쪽과 비교가 안될듯. 게임 쪽 아이폰 성능이 안드로이드폰 성능보다 월등히 앞서는 것만 봐도 알 수 있음.