AI 기초 다지기 - 5편 내 PC 에서 도는 AI

AI 기초 다지기 · 5 / 10편

© 2026 crazy4eu (cwkim83) · 강좌 자료 CC BY-NC-ND 4.0 — 맨 아래 「저작권 · 라이선스」
단계 번호는 영상 왼쪽 위 장면 이름과 같고, "영상 시각"은 편집본 기준입니다. 모르는 말은 「📖 어려운 말 사전」에서 찾아보세요.
이전 편: AI 기초 다지기 - 4편 AI 는 어떻게 말을 하나 · 다음 편: AI 기초 다지기 - 6편 Claude 의 여러 문 · 처음으로: AI 기초 다지기 — 산초 강좌 전에 보는 10편

핵심 요약

항목	내용
이 편의 목표	이 편이 끝나면 로컬 LLM 이 인터넷 없이 내 컴퓨터 안에서 도는 AI 이고, Ollama 가 그 모델을 받아 돌려 주는 프로그램이라는 것을 알게 됩니다. 로컬은 자료가 밖으로 나가지 않고 무료지만 느리고 덜 똑똑하다는 장단점을 직접 비교해 보고, 반출 금지 자료에는 왜 로컬을 쓰는지 설명할 수 있습니다.
배우는 말	로컬 LLM · Ollama
길이	4:58 (실제 화면 시연 장면 2개)
다음 편	다음 6편 · Claude 의 여러 문 — 채팅 · Cowork · Claude Code

5편 · 내 PC 에서 도는 AI

0단계 · 여는 말 (영상 0:05)

안녕하세요, 파이스입니다. AI 기초 다지기, 5편입니다. Claude 같은 AI는 인터넷 저편, 클라우드에서 돌아갑니다. 그런데 인터넷 없이 내 컴퓨터 안에서만 도는 AI도 있습니다. 오늘은 그 AI를 직접 돌려 보고, 장점과 한계를 비교해 봅니다.

1단계 · 로컬 LLM (영상 0:25)

로컬 LLM은 내 컴퓨터 안에서 도는 AI입니다. 1편에서 배운 로컬이 AI에게 적용된 거예요. 클라우드 AI는 내 질문을 인터넷으로 보내서 답을 받아 옵니다. 로컬 AI는 아무것도 보내지 않고, 내 컴퓨터가 직접 생각해서 답해요. 그래서 질문도 자료도 컴퓨터 밖으로 나가지 않습니다. 대신 AI의 뇌에 해당하는 모델 파일을 먼저 내 컴퓨터에 받아 두어야 해요.

2단계 · Ollama와 모델 크기 (영상 0:53)

로컬 AI를 쉽게 돌려 주는 프로그램이 Ollama입니다. 모델을 받아 오고 실행해 주는 관리자예요. 이 PC에는 Ollama와 모델이 이미 깔려 있어서, 내려받는 시간 없이 바로 씁니다. 오늘 쓸 모델의 이름은 qwen3.5:4b입니다. 끝의 4b는 40억 개짜리라는 크기 표시예요. 파일 크기는 약 3.4GB, 영화 한 편 정도의 용량입니다. 숫자가 클수록 똑똑하지만, 그만큼 더 좋은 컴퓨터가 필요해요.

3단계 · 장점과 단점 (영상 1:23)

로컬 AI의 장점부터 볼까요? 첫째, 자료가 컴퓨터 밖으로 나가지 않습니다. 둘째, 인터넷이 없어도 돌고 사용료도 없어요. 컴퓨터 전기만 쓰면 됩니다. 단점도 분명합니다. 내 컴퓨터가 계산하기 때문에 답이 느릴 수 있어요. 작은 모델은 큰 클라우드 모델보다 덜 똑똑해서, 어려운 질문에 틀린 답을 하기도 합니다. 지난 편의 환각 주의는 로컬 AI에게도 똑같이 필요해요. 처음에는 가벼운 일부터 맡겨 보며, 어디까지 믿을지 감을 잡으세요.

4단계 · 속도는 내 컴퓨터의 힘 (영상 1:55)

로컬 AI의 속도는 내 컴퓨터의 힘에 달려 있습니다. 첫째로 중요한 것은 메모리입니다. 메모리는 모델이 올라앉는 작업 책상이에요. 책상이 좁으면 큰 모델은 아예 올라가지 못합니다. 둘째는 그래픽 카드로, 계산을 도와주는 일꾼 여럿이라고 보면 됩니다. 작은 모델은 비교적 평범한 PC에서도 돌지만, 큰 모델은 비싼 장비가 있어야 해요.

5단계 · 시연 ① 내 PC 의 올라마에 물어보기 (영상 2:18) 🎬

시연입니다. 먼저 ollama list 를 치면, 이 PC 에 받아 둔 모델 파일들이 크기와 함께 보입니다. 이번에는 ollama run 으로, qwen3.5:4b 모델에게 질문을 한 줄로 보냅니다. 모델을 메모리에 올리는 동안 잠깐 기다리면, 답이 한 글자씩 나옵니다. 인터넷 없이 내 컴퓨터가 직접 만드는 거예요. 결정과 담당, 기한을 적으라는 요령이 나왔습니다. 처음 불러올 때를 빼면 금방이에요. 다만 굵게 표시하는 기호(**)가 그대로 보이는 등, 모양은 조금 거칩니다.

6단계 · 시연 ② 같은 질문을 Claude 에게 (영상 2:49) 🎬

같은 질문을 Claude 에게도 물어봅니다. 이번에는 인터넷 저편의 큰 모델이 답해요. Claude 는 결정과 액션을 표로 정리하고, 안건별로 쓰는 법까지 덧붙였습니다. 로컬은 이 컴퓨터의 힘만, Claude 는 큰 서버의 힘을 빌리니 내용의 깊이가 다르죠. 쉬운 질문이라면 로컬 답도 충분히 쓸 만할 수 있습니다. 하지만 어려운 질문일수록 큰 모델과의 차이가 벌어지는 편이에요.

7단계 · 반출 금지 자료에 쓰는 이유 (영상 3:17)

그렇다면 로컬 AI는 언제 쓸까요? 반출이 금지된 자료를 다룰 때입니다. 반출 금지는 회사 밖으로 내보내면 안 되는 자료를 뜻해요. 도면, 계약서, 개인정보 같은 것들이죠. 이런 자료를 인터넷 저편의 AI에 올리면, 자료가 회사 밖으로 나가는 셈이 됩니다. 로컬 AI는 자료가 회사 컴퓨터 안에서만 돌기 때문에, 이런 걱정이 없습니다. 다만 어떤 자료가 반출 금지인지는, 회사 규정을 먼저 확인하세요. 모르겠다면 보안 담당자에게 물어보는 것이 가장 정확합니다.

8단계 · 회사에서는 이렇게 나눠 써요 (영상 3:49)

저 파이스의 본체도 회사 안의 작은 컴퓨터, 맥 미니에 있습니다. 이곳에서는 도면처럼 밖으로 보내면 안 되는 자료를 로컬 AI가 읽고 요약해 둡니다. 어려운 일은 클라우드의 큰 모델에, 비밀 자료는 로컬에 맡기는 식으로 역할을 나눕니다. 하나만 고집하지 말고, 자료의 성격에 따라 고르는 것이 요령이에요.

9단계 · 정리 (영상 4:10)

오늘 배운 것을 세 줄로 정리합니다. 하나, 로컬 LLM은 인터넷 없이 내 컴퓨터 안에서 도는 AI입니다. 둘, Ollama가 모델을 받아 돌려 주고, 모델은 크기가 클수록 똑똑하지만 무겁습니다. 셋, 로컬은 자료가 밖으로 안 나가고 무료지만 느리고 덜 똑똑해서, 반출 금지 자료에 알맞습니다. 산초 1편의 장면 3, 절대 안 할 일과 산초 9편의 개인정보가 나가는 지점 표가 오늘 이야기와 이어집니다. 다음 6편에서는 Claude의 여러 문, 채팅과 Cowork, Claude Code를 비교합니다. 감사합니다.

💡 이 편의 어려운 말

로컬 LLM (local LLM): 인터넷 없이 내 컴퓨터 안에서 도는 AI 예요. 자료가 밖으로 나가지 않고 공짜로 쓸 수 있지만, 보통 클라우드의 큰 AI 보다 느리고 덜 똑똑합니다.
Ollama: 내 컴퓨터에서 AI 모델을 내려받아 돌릴 수 있게 해 주는 프로그램이에요. 로컬 LLM 을 쓸 때 많이 쓰는 도구 중 하나입니다.

자주 막히는 곳

로컬 AI 의 답이 느리고 모양이 거칠어요. → 로컬 AI 는 내 컴퓨터가 직접 계산하기 때문에 답이 느릴 수 있습니다. 모델을 메모리에 올리는 처음 불러올 때만 잠깐 기다리면 그다음은 금방이에요. 시연에서도 굵게 표시하는 기호가 그대로 보이는 등 모양이 조금 거칠었습니다.
로컬 AI 가 어려운 질문에 틀린 답을 해요. → 작은 모델은 큰 클라우드 모델보다 덜 똑똑해서 어려운 질문에 틀린 답을 하기도 합니다. 지난 편의 환각 주의는 로컬 AI 에게도 똑같이 필요해요. 처음에는 가벼운 일부터 맡겨 보며 어디까지 믿을지 감을 잡으세요.
qwen3.5:4b 에서 4b 는 무슨 뜻인가요? 큰 모델은 왜 안 돌아가나요? → 끝의 4b 는 40억 개짜리라는 크기 표시이고, 파일 크기는 약 3.4GB 입니다. 숫자가 클수록 똑똑하지만 더 좋은 컴퓨터가 필요해요. 메모리는 모델이 올라앉는 작업 책상이라서, 책상이 좁으면 큰 모델은 아예 올라가지 못합니다.
어떤 자료를 로컬 AI 로 다뤄야 하는지 모르겠어요. → 도면, 계약서, 개인정보처럼 회사 밖으로 내보내면 안 되는 반출 금지 자료는 로컬 AI 에 맡기는 것이 알맞습니다. 다만 어떤 자료가 반출 금지인지는 회사 규정을 먼저 확인하고, 모르겠다면 보안 담당자에게 물어보는 것이 가장 정확해요.

스스로 점검

로컬 LLM 이 인터넷 없이 내 컴퓨터 안에서 도는 AI 이고, 질문도 자료도 컴퓨터 밖으로 나가지 않는다는 것을 설명할 수 있다.
Ollama 가 모델을 받아 돌려 주는 프로그램이라는 것과, 모델 이름 끝의 4b 같은 숫자가 크기 표시라는 것을 말할 수 있다.
로컬 AI 의 장점(자료가 안 나감·인터넷 없이도 돎·사용료 없음)과 단점(느릴 수 있음·덜 똑똑함)을 각각 말할 수 있다.
로컬 AI 의 속도가 내 컴퓨터의 메모리와 그래픽 카드에 달려 있다는 것을 설명할 수 있다.
반출 금지 자료에 로컬 AI 를 쓰는 이유를 설명하고, 어떤 자료가 반출 금지인지는 회사 규정이나 보안 담당자에게 확인해야 한다는 것을 말할 수 있다.

다음에 볼 것

다음 편: AI 기초 다지기 - 6편 Claude 의 여러 문
강좌 처음 페이지: AI 기초 다지기 — 산초 강좌 전에 보는 10편