이희정 성균관대 정보통신대학 연구교수

칼럼의 두 번째 주제는 기술과 AI라, 일반 독자에게는 다소 어렵게 느껴질 수 있다. 하지만 앞으로 이어질 인공지능 칼럼을 이해하는 데 꼭 필요한 기초이기에, 가능한 한 쉽게 풀어 설명해 보았다.

인공지능, 머신러닝, 딥러닝, 어떻게 다른 걸까?

인공지능 수업을 시작하면, 제일 먼저 짚고 넘어가는 주제가 있다. 바로 인공지능, 머신러닝, 딥러닝이 어떻게 다른지 구분하는 것이다. 생각보다 많은 사람들이 이 세 가지를 헷갈리기 때문에, 첫 시간에 이 부분부터 명확하게 정리하고 시작한다.

그림1. 인공인공지능, 머신러닝, 딥러닝의 계층 구조

그림1은 이 세 가지 AI를 한눈에 구분해 준다. 인공지능(Artificial Intelligence:AI), 머신러닝(Machine Learning:ML), 딥러닝(Deep Learning:DL)은 계층 구조로 이해하면 직관적이다. 인공지능이 제일 큰 집합이고, 머신러닝은 데이터로 학습하는 기술, 그 아래 신경망(Neural Networks)이 있고, 딥러닝은 그 신경망 안에 포함된다.

그러면 당연히 인공지능인데 머신러닝이 아닌 게 어떤 건지 궁금할 수 있다. AI 안에는 규칙 기반 시스템(Rule-based system) 같은 옛날 기술도 포함되는데, 사람이 직접 "만약 ~라면 ~해라" 같은 명시적인 규칙을 입력해서 작동하는 방식이다. 예를 들어 이메일 제목에 '무료 돈' 또는 '당첨'이라는 단어가 있고, 발신자가 알려지지 않은 도메인이라면, 스팸 폴더로 이동하라 같은 식이다. 초기 이메일 클라이언트(예: 2000년대 초반 아웃룩)에서 많이 쓰였던 방식인데, 요즘은 그런 방식이 딥러닝의 파워에 밀려 잘 안 보이는 게 현실이다. 이런 규칙 기반 시스템이 머신러닝은 아니지만 인공지능이다.

머신러닝을 분류하는 기준은 두가지 관점이 있는데, 학습 유형(학습목표나 데이터 다루는 방식)에 따라 지도학습, 비지도 학습, 강화학습으로 나누기도 하고 모델 내부 구조(계산 방식)로 비신경망과 신경망으로 나눈다.

머신러닝의 세 가지 학습 유형 - 지도학습, 비지도 학습, 강화학습

그림2. 머신러닝의 세 가지 학습 유형

이제 그림1에서 본 인공지능의 부분 집합인 기계학습의 세 가지 축(지도학습, 비지도 학습, 강화학습)을 정리해 보자. AI가 학습하는 방식을 이렇게 나눠놓으면 이해하기가 쉽다.

첫 번째, 지도학습 (Supervised Learning): 지도학습은 마치 선생님이 학생에게 문제와 정답을 함께 주면서 가르치는 과정과 비슷하다. 컴퓨터에게 데이터를 주는데, 이 데이터는 입력(문제)과 출력(정답)이 쌍으로 묶여 있다. 예를 들어, 고양이 사진과 "이건 고양이야"라는 라벨을 같이 주면, 컴퓨터는 사진의 특징(귀 모양, 털 색깔 등)을 보고 "고양이"라는 정답을 연결 짓는 패턴을 배운다. 이걸로 나중에 새로운 사진이 들어오면 "이건 고양이!"라고 예측할 수 있게 된다.

주로 쓰이는 곳은 명확한 정답이 있는 경우인데 예를 들어, 집값이 얼마일지(회귀), 이메일이 스팸인지 아닌지(분류) 같은 문제를 푸는 데 적합하다. 기술적으로는 선형 회귀, 로지스틱 회귀, 또는 딥러닝의 CNN(Convolutional Neural Network, 이미지)이나 RNN(Recurrent Neural Network, 시퀀스) 같은 것들이 지도학습의 대표주자이다. 그런데 이 방식은 정답이 붙은 데이터가 많아야 하고, 데이터가 편향되면(예: 고양이만 잔뜩 보여주고 강아지는 안 보여주면) 잘못된 예측을 할 수도 있다. 그래서 데이터의 질과 양이 굉장히 중요하다.

두 번째, 비지도 학습(Unsupervised Learning): 비지도 학습은 선생님도, 정답도 없이 혼자 책을 읽고 패턴을 찾아내는 과정이라고 이해할 수 있다. 컴퓨터에게 데이터만 던져주고 "여기서 뭔가 비슷한 것들끼리 묶거나 구조를 찾아봐"라고 하자. 예를 들어, 슈퍼마켓에서 고객 구매 기록을 주면, 컴퓨터는 누가 어떤 물건을 샀는지 몰라도 비슷한 구매 패턴을 가진 사람들(예: 유기농 식품 선호 그룹)을 묶어낼 수 있다. 이게 바로 클러스터링이다. 마케팅에서 고객 구분할 때 많이 쓰인다.

세 번째는 강화학습 (Reinforcement Learning): 강화학습은 게임을 하면서 점수를 높이려고 계속 시도하고 실패를 반복하며 배우는 과정과 비슷하다. 여기선 컴퓨터(에이전트)가 환경과 상호작용을 하면서 어떤 행동이 좋은 결과(보상)를 가져오는지 시행착오로 익히는 방법이다. 예를 들어, 자율주행차가 시뮬레이션에서 운전하면서 "차선을 잘 따라가면 +1점, 충돌하면 -10점" 같은 보상을 받으며 최적의 운전 전략을 배우게 되는 식이다.    

이 방식은 정답이 미리 주어지지 않고, 환경과의 상호작용 속에서 "더 나은 선택"을 찾아가는 게 특징이다. 알파고가 바둑에서 수백만 번 게임을 시뮬레이션하며 최고의 수를 배운 것도 강화학습의 힘이다. 기술적으로는 요즘 LLM에서 쓰이는 RLHF(인간 피드백 강화학습) 같은 게 있다. 그런데 이 방식은 학습 시간이 오래 걸리고, 보상이 뭘 기준으로 설정되느냐에 따라 결과가 달라질 수 있어서 설계가 까다롭다고 할 수 있다.

그렇다면 대규모 언어 모델인 LLM은 머신러닝의 어떤 범주에 속할까? LLM은 지도학습 중 분류와 예측 영역에 포함된다고 볼 수 있는데 최신 LLM은 단순한 지도학습을 넘어, 지도학습과 강화학습(RLHF)을 결합한 진화형 모델로 볼 수 있다.

머신러닝 모델 내부 구조 – 비신경망, 신경망

그림3. 비신경망 모델 vs 신경망 모델

이제 기계학습 방법론인 비신경망과 신경망 모델의 차이점을 알아보자. 비신경망과 신경망의 선택 기준은 흔히 데이터양과 문제 복잡성이 기준이 된다. 대용량 데이터(수십만 개 이상)와 복잡한 패턴(예: 음성, 이미지)이면 신경망모델의 성능이 압도적이고, 소규모 데이터(수천 개 이하)나 명확한 관계(예: 나이와 소득 상관관계)면 비신경망 모델이 낫다.

신경망 모델은 뇌의 뉴런 구조를 본떠서 층(layer)을 쌓아 복잡한 패턴을 찾아내는 데 강점이 있다. 딥러닝 같은 신경망은 고양이 사진 인식이나 음성 번역처럼 대용량 데이터와 미세한 특징을 다룰 때 뛰어난데 예를 들어, CNN은 이미지에서 고양이 눈이나 수염 같은 세부 사항을 잡아내고, RNN은 문장 맥락을 기억해서 번역을 잘한다.

반면 비신경망 모델은 수학적 공식과 통계에 기반해서 가볍고 해석이 쉬운 게 장점이다. SVM(Support Vector Machine)은 스팸 메일 분류처럼 명확한 경계 긋기에 좋고 특히 데이터가 적거나 계산 자원이 제한적일 때 효율적이고, 결과에 대한 이유를 설명하기 쉬워서 금융이나 의료 분야에서 선호돼. 결정트리(Decision Tree)는 환자 데이터로 질병 확률을 예측하면서도 "이 변수가 중요하다"는 해석을 제공해 줄 수 있다.

신경망 모델의 딥러닝이 워낙 강력해서 머신러닝의 다른 기법들(예: SVM이나 랜덤 포레스트)을 제치고 AI의 대표주자처럼 느껴지기도 한다. 하지만 딥러닝도 만능은 아니라서, 데이터가 적거나 연산 자원 제한되면 전통적인 머신러닝 기법이 더 나을 때도 있다. 딥러닝의 힘은 데이터랑 컴퓨팅 파워, 특히 GPU/TPU 덕이 크다.

그런데 신경망도 최적화되면서 가벼워지고 있다. 예를 들어, MobileNet은 모바일 기기에서 실시간 이미지 인식을 하면서도 메모리 사용도 줄어서 "간단하고 빠르게"라는 비신경망의 강점이 줄어드는 추세다. 또한, 비신경망이 대용량 데이터에 약하다는 건 상대적인 것이고 랜덤 포레스트는 수백만 개 데이터에서도 잘 돌고, 해석 가능성까지 유지한다.

비신경망으로 원하는 성능을 내는 경우가 여전히 많다. 신경망은 훈련시키는 데 많은 시간이 필요하므로 대학에서 프로젝트를 수행할 때 비신경망 모델로 원하는 성능이 나오면 굳이 신경망 모델을 사용하지 않는다. 효율성과 성능이 맞는 걸 고르면 된다.

그리고 이 둘은 경쟁자라기보단 상호 보완적인 기법이다. 예를 들어, 자율주행에선 CNN이 이미지를 분석하지만, 경로 최적화는 선형 회귀로 보조한다. 질문 특성에 맞춰 자동으로 모델을 선택하거나 모드를 정해 주는 기술이 트랜드이므로 앞으로는 하이브리드 접근이 더 주목받을 것 같다.

자동모드 선택을 조금 더 설명하자면 예를 들어, 2025년 8월에 출시된 GPT-5의 경우 사용자들도 알아챘겠지만, 가벼운 질문에는 ‘기본 모드’로 빠르게 답변하고, 코딩이나 과학 분석처럼 복잡한 문제에는 ‘Thinking 모드’로 전환해 느리지만 깊은 사고를 통해 답을 낸다. 이는 AI가 단순한 응답기를 넘어 상황에 맞게 사고방식을 조절하는 단계로 진화했음을 보여준다.

그런데 우리가 우려해야 할 부분은 자동모드가 지나치게 똑똑해지면 사용자는 결과를 비판 없이 받아들이기 쉽고, 모델의 판단 근거를 알기 어렵거나 통제 수단이 사라질 수 있다. 다시 말해, AI가 알아서 모드를 바꾸는 순간, 사용자는 자동차 운전대가 아닌 조수석에 앉게 될 수가 있다. 권한위임이 편리하기도 하지만 지식 의존, 지식 퇴화가 발생할 수 있다는 점은 우리가 우려해야 한다.

자율주행 자동차 - AI 학습의 집합체

처음 인공지능 과목을 본격적으로 가르치게 된게 스마트모빌리티학과 학생 대상이었는데, 과의 특성 때문에 자율주행 자동차와 인공지능의 관계에 대해서 관심을 갖게 되었다. 이제 자율주행 자동차에서 사용되는 기계학습 방법론에 대해 알아보자.

자율주행 자동차는 지도학습, 비지도 학습, 강화학습이 융합된 ‘종합판’이자 ‘인공지능의 꽃’이라고 비유하고 싶다. 자율주행차가 단순히 한 가지 기술로 운행하는 게 아니라 여러 학습 방식이 얽히고설켜서 돌아가기 때문이다.

첫째 지도학습의 역할: 자율주행차가 차선, 표지판, 보행자를 인식하는 건 지도학습의 힘이다. 예를 들어, 카메라로 찍은 수백만 장의 이미지에 "이건 차선", "이건 신호등"이라고 라벨링된 데이터를 딥러닝(특히 CNN 같은 신경망)으로 학습해서, 차가 실시간으로 도로 환경을 분류하고 인식한다. 테슬라나 웨이모 같은 회사들이 어마어마한 데이터셋으로 이걸 훈련시키고 있다.

둘째 비지도 학습의 기여: 라이다나 레이더 데이터에서 패턴을 찾는 비지도 학습, 이 부분도 중요하다. 예를 들어, 도로에 갑자기 이상한 물체(쓰레기봉투라든지)가 나타났을 때, 라벨링된 데이터가 없어도 비지도 학습은 센서 데이터의 클러스터링이나 이상치 탐지(Anomaly Detection)를 통해 "이건 평소랑 다르다"라고 감지한다. 이건 특히 미지의 환경에서 자율주행차가 유연하게 대처할 수 있게 해주는 힘이다.

셋째 강화학습의 의사결정: 강화학습은 자율주행의 ‘두뇌’ 같은 역할을 한다. 차가 시뮬레이션에서 수천, 수만 번의 운전 시나리오를 겪으면서 "이 상황에선 속도를 줄여야 보상이 크다"거나 "이 경로는 사고 확률 낮춘다" 같은 걸 배우게 된다. 강화학습이 여기서 빛을 발하는데, 알파고처럼 복잡한 환경에서 최적의 결정을 내리도록 훈련받는 것이다. 실제 도로에선 보상이 "안전+효율"로 정의되므로 이 강화학습이 자율주행 의사결정의 핵심이다.

그림4. 자율주행 자동차 AI 학습 방법(출처: ChatGPT AI 이미지 재가공)

자율주행 자동차 - 안전성, 윤리 규제

최근 테슬라 오토파일럿 사고로 2019년 플로리다 교통사고와 관련해서 법원이 테슬라에 2억 4천3백만 달러(약 3천4백억 원) 배상을 명령하였다. 또 다른 2019년 사고 두 건도 최근 합의로 끝났다고 한다. 이런 사건들을 보면 안전 문제가 심각하지만, 일반 자동차가 처음 도입됐을 때, 교통사고를 염려했고 실제로 도입된 이후 교통사고로 전 세계적으로 매년 백만 명 목숨을 앗아가는데도 자동차가 주는 이동 편의가 사고로 인한 손해보다 클 거라는 인식이 되면서 사회는 받아들였다. 내가 통제하지 못하는 기술이 생명과 직결되는 판단을 대신 내리는 자율주행도 마찬가지로 될 것 같다. 이득이 손해를 넘어선다고 판단되면 결국은 도입이 될 것이다. 하지만 안전성, 윤리, 규제 문제는 쉽게 넘어갈 수는 없어 보인다.

이와 관련하여, 조금 생각을 보태자면 정부나 자동차 재조사가 해야 할 일들을 말해보자면, 소비자의 신뢰도를 올리기 위해서는 제조사는 AI 결정 과정(예: 사고 시 반응 알고리즘 로직)을 공개하고, 사외 AI 전문가와 협력해서 오픈 소스 데이터셋으로 제3자 검증을 하는 과정이 필요할 것 같다. 또한, 정부는 AI 알고리즘 블랙박스를 의무적으로 기록, 공개하게 해서 사고 원인 분석이 쉬워지도록 해야 한다. 이외에 소비자 보험, 책임 분배(예: 사고 시 AI vs 인간 책임)도 법으로 명확히 규정하면 투명성이 커질 것이다. 물론, 제조사와 정부 간 균형(기술 정보 보호 vs 공개)이 쟁점일 테니, 독립적인 감시 기관 설립도 필요하다고 본다.

사고 시 반응 알고리즘에 적용될 트롤리 딜레마(예: 사고 시 누구를 우선 보호할까) 같은 윤리 문제는 여전히 뜨거운 논쟁거리지만, 완벽히 해결 안 돼도 데이터로 증명된 안전성이 운전자가 잃어버릴 손해를 넘어선다고 받아들여지면 정부가 규제 강화(예: 소프트웨어 업데이트 의무, AI 블랙박스, 보험 제도)하면서 허가할 가능성이 크다.

자율주행차는 AI 기술의 집대성이지만, 위에 언급한 안전성, 윤리, 규제와 같은 문제들을 고려해 보면 아직 완성형은 아니라고 봐야겠다. 앞으로 멀티모달 데이터(카메라+라이다+GPS)를 더 잘 융합하거나, 실시간 학습 능력을 강화하는 방향으로 갈 것 같다. 자율주행 자동차는 결국 기술 진보가 사회적 수용과 맞물려 도입될 테고, 개인적인 생각으로도 그게 미래 방향이라고 본다. 다만, 더 많은 테스트와 투명한 규제가 핵심이 될 것 같고 이들 사이의 균형이 필요한데 미국은 현재 AI 규제를 완화하는 분위기이다.

그러고 보면 처음에 ‘꽃’에 비유했는데, 지금은 꽃봉오리 정도고, 완전히 만개하려면 시간이 좀 더 필요할 거 같다는 생각이 든다.

사이버 보안과 머신러닝: 지도·비지도·강화학습의 역할 

그러면 사이버 보안에서는 기계학습이 어떻게 학습될까? 사이버 보안에서도 지도학습, 비지도 학습, 강화학습이 각자 중요한 역할을 한다.

지도학습은 알려진 위협(예: 랜섬웨어)을 라벨링된 데이터로 빠르게 잡아낸다. 그런데 한계는, 새로운 제로데이 공격(Zero-day attack)이 나오면 학습된 데이터 밖에 있는 패턴은 놓칠 가능성이 크다. 그래서 지도학습만으론 부족하고 다른 방식과 결합해야 한다.

비지도 학습은 신종 공격이나 이상 징후 탐지(Anomaly Detection)에 강하다. 갑작스런 데이터 폭증이나 이상 포트 접속을 클러스터링이나 밀도 기반 알고리즘으로 잡아낸다. 이건 특히 해커가 기존에 없던 공격 기법을 썼을 때 빛을 발한다. 특히 해커가 제로데이나 APT 같은 새로운 기법을 쓸 때, 기존 패턴에 얽매이지 않는 비지도 학습이 유리하다. 다만, 오탐지(False Positive)가 많아 진짜 위협과 노이즈 구분이 어려운 단점이 있어서 이를 보완하려면 사람의 개입이나 후속 분석이 필요하다.

강화학습(RL)이 실시간 방어 전략을 세우는 데 쓰인다면 사이버 보안의 게임체인저가 될 수 있다. 예를 들어, AI가 방화벽 설정을 조정하거나, 공격 패턴에 따라 트래픽을 재배치하면서 "최소 피해, 최대 방어"라는 보상을 극대화하도록 학습하는 것이다. 알파고가 게임에서 RL로 최적 전략 찾는 것처럼, 사이버 보안에서도 비슷한 논리로 방어 전략을 진화시킬 수 있다. 그런데 RL은 아직 상용화가 덜 되었고, 계산 비용이 높아서 실시간적용이 까다롭다는 게 도전 과제이다.

다만, AI가 방어를 뚫는 해킹 도구로도 쓰일 수 있어서 이건 양날의 검이다. LLM 기반 피싱 메일 생성이나 AI로 위장한 공격이 이미 현실화되고 있어서, 기술이 발전할수록 공격자와 방어자의 AI 경쟁이 치열해질 것 같다.

글을 마치며

지도학습은 이미 알려진 패턴을 기반으로 안정적인 예측이나 분류를 수행하는 '기본 기반' 역할을 하고 비지도 학습은 숨겨진 구조나 새로운 통찰을 찾아내는 '탐색자' 역할을 맡고, 강화학습은 환경에 따라 실시간으로 최적의 결정을 내리는 '전략가'로 기능하다. AI의 세 가지 학습 방식 지도학습, 비지도 학습, 강화학습은 서로 보완적으로 활용될 수 있다.

하지만 여전히 도전 과제가 남아 있다. 학습에는 데이터 품질이 핵심인데, 편향된 데이터나 라벨링 오류가 있다면 할루시네이션이나 결과가 정확하지 않을 수 있다. 또, 강화학습의 높은 계산 비용도 해결해야 하고 윤리 문제도 간과할 수 없는데 강화학습이 너무 똑똑해지면 서비스 품질은 높아지겠지만 의도치 않은 방향으로 예를 들자면, 개인정보 악용 가능성도 존재한다.

결론적으로, 머신러닝의 세가지 학습 방식은 상황에 따라 빛을 발하며, 이 세 기술이 상호 보완을 이루며 조화를 이룬다면 각 서비스 분야에서 윤리적이며 효율적인 솔루션이 가능해질 것이다.

출처 : 데일리시큐(https://www.dailysecu.com)