안드로이드폰에서 오픈소스 LLM 구동 및 ADB 활용 가이드

안드로이드폰에서 오픈소스 LLM 구동 및 결과 추출 방법

1. 모바일 LLM 구동 접근법

• 경량 LLM 선택: 파라미터 40억 이하 모델 (MobileLLM, TinyLlama)
• 최적화 기법: 양자화, 레이어 공유, 임베딩 최적화

2. 구현 방식

1. 경량 모델 다운로드 (ONNX, GGML 포맷)
2. Termux/모바일 앱에서 실행
   • Python: transformers 라이브러리
   • JNI: llama.cpp 엔진

3. ADB 활용 결과 추출

adb shell # 단말 접속
adb push prompt.txt /sdcard/
python3 my_llm.py > /sdcard/output.txt
adb pull /sdcard/output.txt ./  # PC로 결과 복사

주요 팁

• PC 서버 + 모바일 REST API 대안 존재
• 경량화 모델 필수
• ADB로 입출력 파일 주고받기