새 맥북에서 로컬 AI를 써보기 시작했다. 블로그 글 검토와 간단한 화면 코딩을 맡겨봤고, 작은 Python 프로그램을 만드는 테스트도 진행했다. 결과를 다시 확인해야 할 때는 있었지만, 인터넷 연결이 어려운 상황에서도 작업을 이어갈 수 있다는 점은 꽤 매력적으로 느껴졌다.
시작한 이유는 출장 때문이다. 나는 블로그를 운영하면서 앱도 개발하고 있는데, 지금까지 주로 쓰던 클라우드 기반 AI 서비스는 인터넷 연결이 필요했다. 비행기로 이동하는 시간에도 작성하던 원고를 살펴보거나 코딩을 이어갈 방법이 있으면 좋겠다는 생각을 했다.
그래서 내 맥북에서 모델을 직접 실행해보기로 했다. 현재는 평소 작업에 조금씩 사용하면서 나에게 맞는 환경을 찾아가는 중이다.
36GB 맥북에 맞는 모델부터 찾았다
현재 사용하는 맥북은 M5 Max 칩과 36GB 메모리를 갖춘 맥북 프로다. 맥북 구매 후 일주일 사용기에서도 로컬 AI를 실험하고 경험을 공유해보고 싶다고 적었는데, 이제 조금씩 시작하고 있다.
여러 모델을 살펴봤고, 내 환경에서 현재 사용하는 모델 이름은 qwen3.8:27b-mlx다. Open WebUI를 통해 사용하고 있다.
모델을 고를 때 가장 궁금했던 것은 내가 평소 하는 일에 도움이 되는지였다. 작성한 글을 다시 읽어주거나 간단한 코딩을 도와줄 때 어느 정도까지 활용할 수 있을지 알고 싶었다.
블로그 글 검토와 간단한 코딩에 써봤다
먼저 이미 작성한 블로그 글을 검토하는 데 사용했다. 내가 쓴 내용을 바탕으로 다시 살펴보는 작업이다. 앱 개발에서는 간단한 디자인 관련 코딩을 맡겨봤다.
솔직히 기대가 꽤 컸던 것 같다. 직접 써보니 결과를 한 번 더 검토해야 하는 경우가 종종 있었다. 글은 내가 의도한 내용과 맞는지 다시 읽어야 하고, 코드는 실제 화면에 적용했을 때 원하는 결과가 나오는지 확인해야 한다.
지금은 결과를 받아 바로 끝내기보다, 어느 부분에서 도움을 받고 어느 부분을 직접 확인해야 하는지 알아가는 중이다. 이 과정은 앞서 쓴 AI 작업의 최종 확인을 직접 하는 이유와도 이어진다.
작은 Python 프로그램도 만들어보게 했다
조금 더 궁금해져서 작은 Python 프로그램을 만드는 과제도 맡겨봤다. CSV 파일에 담긴 거래 내역을 읽고, 수입·지출과 월별 내역을 정리하는 프로그램이다.
연결한 터미널 도구를 이용해 파일을 만들고 실행한 뒤 오류를 수정하고 테스트까지 진행하도록 요청했다. 인터넷 접속이나 외부 패키지 설치 없이 Python 기본 기능으로 구현하는 조건도 넣었다.
모델의 최종 보고서에는 테스트 35개를 통과하고 문제 5가지를 수정했다고 적혀 있었다. 별도로 재실행해 확인한 결과는 아니어서, 완성도를 판단하려면 코드와 테스트 내용을 더 살펴봐야 한다. 모델이 자신의 코드와 테스트를 함께 수정했다는 점도 고려해야 한다.
작은 도구를 만드는 과정에서 파일 생성·실행·수정까지 이어가도록 요청할 수 있다는 점이 흥미로웠다. 이번 결과는 모델과 Open WebUI, 터미널 도구를 연결한 환경에서 나온 것으로 이해하고 있다.
인터넷이 없는 이동 시간에도 써보고 싶다
결과를 다시 확인해야 하는 아쉬움이 있어도, 로컬 AI를 시작한 이유는 여전히 유효하다. 인터넷 연결이 어려울 때도 글 검토와 코딩 작업을 이어갈 수 있는 환경을 갖추고 싶다.
비행기 안에서도 작성하던 원고를 다시 살펴보고, 개발 중인 화면의 작은 부분을 수정할 수 있으면 좋겠다. 이동하는 동안 하던 일을 조금이라도 이어갈 수 있다면 나에게는 활용할 이유가 충분하다.
사용할 모델과 실행 환경은 연결이 있을 때 미리 준비해야 한다. 웹 검색이나 외부 서비스 연결처럼 인터넷이 필요한 기능도 있다. Open WebUI 오프라인 안내에서도 필요한 로컬 모델과 서비스를 미리 준비하도록 설명한다.
아직 비행기에서 직접 사용한 후기는 없다. 지금은 평소 작업에서 활용해보면서, 연결이 없는 상황에도 가져갈 수 있는 환경을 만들고 있다.
36GB 맥북으로 어디까지 할 수 있을까
현재 경험만으로 로컬 AI에는 36GB면 충분하다고 말하기는 어렵다. 이번 테스트에서는 전체 실행 시간이나 최대 메모리 사용량을 기록하지 않았고, 여러 모델과 긴 작업을 충분히 비교하지도 않았다.
내가 먼저 확인하고 싶은 것은 가진 맥북으로 내 작업의 어느 부분까지 할 수 있는지다. 글 검토와 간단한 코딩에서 도움이 됐더라도, 긴 문서나 복잡한 앱 개발에서는 다른 결과가 나올 수 있다.
지금은 설정과 요청 방식을 내 작업에 맞게 조정하고 있다. 자주 쓰면서 부족한 부분을 확인한 뒤, 필요하면 파인튜닝도 알아보려고 한다.
앞으로 새로운 모델도 사용해보겠지만, 내 작업에 도움이 되는지를 보고 선택하고 싶다. 글 검토, 화면 수정, 작은 도구 만들기를 계속 맡겨보면서 잘되는 부분과 직접 확인해야 하는 부분을 기록할 생각이다.
처음 기대했던 것처럼 모든 결과가 바로 만족스럽지는 않았다. 그래도 인터넷 연결에만 의존하지 않고 작업할 방법을 준비하고 있다는 점은 꽤 마음에 든다. 나와 비슷하게 글을 쓰거나 앱을 개발하는 사람이 로컬 AI를 고민할 때 참고할 만한 경험을 조금씩 쌓아가고 싶다.
COMMENTS