📚 부산디지털대학교 '파이썬 기반의 AI프로그래밍' 6주차 강의노트를 바탕으로 정리한 학습 노트입니다. (출처는 글 하단 참고)

01 로지스틱 회귀란?

1강 · 참과 거짓 중 하나를 고르는 미니 판단 장치

딥러닝 내부에서는 전달받은 정보를 놓고 참과 거짓 중 하나를 판단해 다음 단계로 넘기는 장치들이 쉬지 않고 작동합니다. 딥러닝은 겉으로 드러나지 않는 이런 미니 판단 장치들을 이용해 복잡한 연산을 해낸 끝에 최적의 예측 값을 내놓는 작업입니다. 이 판단 장치의 원리가 바로 로지스틱 회귀(logistic regression)입니다.

직선으로는 안 되는 데이터

3~5주차에서는 공부한 시간과 성적(점수) 사이의 관계를 직선으로 표현했습니다(선형 회귀). 그런데 점수가 아니라 합격과 불합격만 발표되는 시험이라면 어떨까요?

합격을 1, 불합격을 0으로 놓고 좌표에 찍으면 점들이 0과 1 두 줄에만 모여 있습니다. 이 점들의 특성을 일차 방정식(직선) 하나로 잘 나타낼 수 있을까요?

📖 로지스틱 회귀 (logistic regression)
직선이 아니라, 참(1)과 거짓(0) 사이를 구분하는 S자 형태의 선을 그어 주는 작업

❌ 시험 함정 — 로지스틱 회귀가 쓰이는 문제
로지스틱 회귀는 여러 문제를 예측하는 상황 중에서도 Yes 또는 No처럼 좁은 범위의 선택을 해야 할 때 적용합니다. 참과 거짓 중 하나를 내놓는 과정이며, S자 형태의 시그모이드 함수를 바탕으로 한 오차 공식과 경사 하강법을 이용합니다. 점수처럼 연속적인 값을 예측하는 것은 선형 회귀의 몫입니다.

02 시그모이드 함수

S자 곡선을 만드는 식, a는 경사도 · b는 좌우 이동

S자 형태로 그래프가 그려지는 함수를 시그모이드 함수(sigmoid function)라고 합니다. 1주차 수학에서 미리 만나 본 함수이고, 2주차에서는 출력층의 활성화 함수로도 등장했습니다. 관련 식은 다음과 같습니다.

y = 1 / (1 + e^−(ax+b))
아래 코드도 이 식으로 계산

직접 계산해 보면 a와 b의 역할이 숫자로 보입니다. 공부 시간 2~14시간에 대해 세 가지 a, b 조합으로 시그모이드 값을 구했습니다.

a와 b를 바꿔 가며 시그모이드 값 구하기

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))   # 시그모이드 함수 식

x = np.array([2, 4, 6, 8, 10, 12, 14])
for a, b in [(1, -7), (3, -21), (1, -9)]:
    print(f"a={a}, b={b} →", np.round(sigmoid(a * x + b), 3))

▶ 실행 결과 (x = 2 ~ 14)

a=1, b=-7 → [0.007 0.047 0.269 0.731 0.953 0.993 0.999]
a=3, b=-21 → [0.    0.    0.047 0.953 1.    1.    1.   ]
a=1, b=-9 → [0.001 0.007 0.047 0.269 0.731 0.953 0.993]

a를 1에서 3으로 키우자 0.047에서 0.953으로 한 번에 확 뛰는 가파른 S자가 되었고, b를 −7에서 −9로 바꾸자 같은 값들이 한 칸(2시간)씩 오른쪽으로 밀렸습니다. 그래프로 그리면 더 분명합니다.

a와 b의 역할을 그래프로 비교하기

import matplotlib.pyplot as plt

xs = np.linspace(0, 14, 200)    # 0~14를 200개로 잘게 나눔
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(10, 4))
for a, b in [(0.5, -3.5), (1, -7), (3, -21)]:      # 가운데(x=7)는 그대로, a만 바꾸기
    ax1.plot(xs, sigmoid(a * xs + b), label=f"a={a}, b={b}")
for a, b in [(1, -5), (1, -7), (1, -9)]:            # a는 그대로, b만 바꾸기
    ax2.plot(xs, sigmoid(a * xs + b), label=f"a={a}, b={b}")
ax1.set_title("a : slope"); ax2.set_title("b : shift")
ax1.legend(); ax2.legend()
plt.show()

▶ 실행 결과 (그래프 출력)

(왼쪽은 a가 클수록 가파른 S자 3개, 오른쪽은 b에 따라 좌우로 밀린 S자 3개가 나타남 — 아래 그림 1)

📖 심화 — b만 바꿨는데 왜 좌우로 움직일까?
시그모이드 값이 딱 0.5가 되는 곳은 ax + b = 0, 즉 x = −b / a인 지점입니다. a = 1일 때 b = −5이면 x = 5, b = −7이면 x = 7, b = −9이면 x = 9에서 0.5가 됩니다. 그래서 b가 클수록(−5) S자가 왼쪽, 작을수록(−9) 오른쪽으로 갑니다. 강의노트 그래프에서 b 값이 클 때의 곡선이 가장 왼쪽에 있는 것과 같은 결과입니다. 이 0.5 지점이 합격과 불합격을 가르는 경계가 됩니다.

a · b와 오차의 관계

선형 회귀에서 기울기와 오차가 포물선 관계였던 것처럼(4주차), 시그모이드의 a와 b도 오차와 관계가 있습니다. 강의노트 그래프를 정리하면 다음과 같습니다.

03 오차 공식 — 교차 엔트로피

실제 값이 1이냐 0이냐에 따라 다른 로그 그래프를 쓴다

로지스틱 회귀도 선형 회귀처럼 경사 하강법으로 a와 b를 찾습니다. 다만 오차를 재는 방법이 다릅니다.

📖 로지스틱 회귀의 경사 하강법 (강의노트 정리)
① 오차를 구한 뒤 오차가 작은 쪽으로 이동시키는 방법 (선형 회귀와 같음)
② 참과 거짓을 판단하기 위해서는 평균 제곱 오차를 사용할 수 없음
③ 시그모이드 함수를 활용

시그모이드의 예측 값 h는 항상 0과 1 사이입니다. 실제 값도 0 아니면 1이므로, 실제 값이 1일 때와 0일 때를 나눠서 오차를 생각합니다. 이때 쓰는 것이 

로그

함수입니다.

두 식을 실제 값 y 하나로 합치면 다음 공식이 됩니다.

−{ y log h + (1 − y) log(1 − h) }
A 부분 = y log h  |  B 부분 = (1 − y) log(1 − h)  |  h : 예측 값(시그모이드 출력)

이렇게 실제 값에 따라 빨간 선과 파란 선을 골라 쓰는 공식으로, 평균 제곱 오차를 대신할 손실 함수를 계산할 수 있습니다. 이것이 교차 엔트로피 오차(cross entropy error) 함수이고, 케라스에서는 binary_crossentropy(이진 교차 엔트로피)라는 이름으로 씁니다.

교차 엔트로피와 제곱 오차 비교하기

def cross_entropy(y, h):
    return -(y * np.log(h) + (1 - y) * np.log(1 - h))

for y, h in [(1, 0.99), (1, 0.5), (1, 0.01), (0, 0.01), (0, 0.99)]:
    print(f"실제 y={y}, 예측 h={h:<4} → 교차 엔트로피 {cross_entropy(y, h):.3f} / 제곱 오차 {(y - h) ** 2:.3f}")

▶ 실행 결과 (예측 값 5가지)

실제 y=1, 예측 h=0.99 → 교차 엔트로피 0.010 / 제곱 오차 0.000
실제 y=1, 예측 h=0.5  → 교차 엔트로피 0.693 / 제곱 오차 0.250
실제 y=1, 예측 h=0.01 → 교차 엔트로피 4.605 / 제곱 오차 0.980
실제 y=0, 예측 h=0.01 → 교차 엔트로피 0.010 / 제곱 오차 0.000
실제 y=0, 예측 h=0.99 → 교차 엔트로피 4.605 / 제곱 오차 0.980

📖 심화 — 완전히 틀렸을 때 벌점이 다르다
실제로는 합격(1)인데 0.01이라고 거의 확실하게 틀린 경우, 제곱 오차는 0.980으로 1을 넘지 못합니다. 교차 엔트로피는 4.605로 훨씬 큽니다. 확신을 갖고 틀릴수록 오차가 급격히 커지므로, 경사 하강법이 크게 틀린 예측을 더 강하게 바로잡게 됩니다. 반대로 거의 맞힌 경우(0.99)에는 두 방법 모두 오차가 0에 가깝습니다.

파란 선과 빨간 선 그리기

h = np.linspace(0.01, 0.99, 100)
plt.plot(h, -np.log(h), 'b', label='y = 1 : -log h')
plt.plot(h, -np.log(1 - h), 'r', label='y = 0 : -log(1-h)')
plt.xlabel('h (prediction)'); plt.ylabel('loss')
plt.legend()
plt.show()

▶ 실행 결과 (그래프 출력)

(예측 값 h에 따라 왼쪽 위로 치솟는 파란 선과 오른쪽 위로 치솟는 빨간 선이 나타남 — 아래 그림 2)

04 로지스틱 회귀 실습

2강 · 케라스로 합격 확률 예측하기

1강의 합격/불합격 데이터를 케라스로 학습시켜 봅니다. 아래는 강의노트 실습 코드 그대로입니다(주석만 조금 정리).

로지스틱 회귀 실습 코드 (강의노트)

#분류 문제를 해결하기 위해 사용되는 통계적 모델
import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

x = np.array([2, 4, 6, 8, 10, 12, 14])   #공부 시간
y = np.array([0, 0, 0, 1, 1, 1, 1])      #합격 여부 (0: 불합격, 1: 합격)

model = Sequential()
model.add(Dense(1, input_dim=1, activation='sigmoid'))
model.compile(optimizer='sgd' ,loss='binary_crossentropy')
model.fit(x, y, epochs=5000)

plt.scatter(x, y)
plt.plot(x, model.predict(x),'r')
plt.show()

hour = 7
prediction = model.predict([hour])
print("%.f시간을 공부할 경우, 합격 예상 확률은 %.01f%%입니다" % (hour, prediction * 100))

▶ 실행 결과 (TensorFlow 2.21 · Keras 3.15 / 중간 4,990줄 생략)

.../keras/src/layers/core/dense.py:107: UserWarning: Do not pass an `input_shape`/`input_dim` argument to a layer. When using Sequential models, prefer using an `Input(shape)` object as the first layer in the model instead.
Epoch 1/5000
1/1 ━━━━━━━━━━━━━━━━━━━━ 1s 1s/step - loss: 2.7116
Epoch 2/5000
1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 27ms/step - loss: 2.6809
...
Epoch 4999/5000
1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 28ms/step - loss: 0.1858
Epoch 5000/5000
1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 73ms/step - loss: 0.1858
1/1 ━━━━━━━━━━━━━━━━━━━━ 0s 46ms/step
(점 7개와 빨간 예측 곡선이 나타남 — 아래 그림 3)
ValueError: Unrecognized data type: x=[7] (of type <class 'list'>)

loss(교차 엔트로피 오차)가 2.71에서 0.19까지 내려갔고, 빨간 선은 6시간에 약 44%, 8시간에 약 73%로 불합격(0)에서 합격(1) 쪽으로 올라가는 S자를 그립니다. 그런데 마지막 줄에서 오류가 났습니다.

❌ 강의노트 코드를 그대로 쓸 때 주의 — model.predict([hour])
최신 케라스(Keras 3)는 파이썬 리스트 [7]을 입력으로 받지 않아 ValueError: Unrecognized data type 오류가 납니다. 모델은 (데이터 개수, 특성 개수) 모양의 2차원 배열을 기대하므로 np.array([[hour]])처럼 넘겨야 합니다.
또 predict()는 숫자 하나가 아니라 [[0.59…]] 모양의 2차원 배열을 돌려줍니다. 이 배열을 그대로 %.01f에 넣으면 NumPy 버전에 따라 DeprecationWarning 경고(5주차에서 본 경고)가 나거나, 제 실행 환경(NumPy 2.5)처럼 TypeError: only 0-dimensional arrays can be converted to Python scalars 오류가 납니다. prediction[0][0]으로 숫자 하나를 꺼내 쓰면 두 문제가 모두 사라집니다.

✅ 마지막 두 줄 고치기

prediction = model.predict(np.array([[hour]]))   # 2차원 배열로 넣기
print("%.f시간을 공부할 경우, 합격 예상 확률은 %.01f%%입니다" % (hour, prediction[0][0] * 100))   # 숫자 하나 꺼내기

▶ 실행 결과 (위 모델에 이어서 실행 · 진행 표시줄 생략)

7시간을 공부할 경우, 합격 예상 확률은 59.6%입니다

❌ 시험 함정 — 로지스틱 회귀 코드의 빈칸
로지스틱 회귀는 참과 거짓을 내놓는 과정이므로 Dense() 안의 activation은 'sigmoid'로 설정합니다. 그리고 compile() 안의 loss는 'binary_crossentropy'로 설정합니다. 선형 회귀(5주차)의 loss='mse'와 짝을 지어 기억하세요.

✓ 그래프가 매끈한 S자가 아니라 꺾은선처럼 보이는 이유
plt.plot(x, model.predict(x))는 x에 있는 7개 점의 예측값만 직선으로 이었기 때문입니다. np.linspace(2, 14, 100)처럼 촘촘한 x로 predict하면 매끈한 S자가 나옵니다. 또 강의노트 그림보다 완만한 이유는 5,000번 학습 후에도 loss가 계속 줄어드는 중이기 때문입니다. 02에서 본 것처럼 학습이 더 진행되면 a(가중치)가 커지면서 S자가 점점 가팔라집니다. 처음 가중치를 무작위로 정하므로 실행할 때마다 loss와 확률의 끝자리도 조금씩 다릅니다.
덧붙여 model.predict(x, verbose=0)처럼 verbose=0을 주면 예측할 때마다 찍히는 1/1 ━━━━ 진행 표시줄이 나오지 않아 출력이 깔끔해집니다(아래 보충 코드에서 사용).

경고 없이 · 결과가 매번 같게 다시 써 보기

5주차처럼 Input을 맨 앞에 두면 UserWarning이 사라집니다. 시작값(시드)을 고정해 결과를 재현하고, 학습된 가중치와 편향을 꺼내 02의 x = −b / a 경계도 확인해 봅니다.

로지스틱 회귀 — 보충 코드

import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Input, Dense

tf.keras.utils.set_random_seed(1)   # 실행할 때마다 같은 결과가 나오도록 고정

x = np.array([2, 4, 6, 8, 10, 12, 14])
y = np.array([0, 0, 0, 1, 1, 1, 1])

model = Sequential()
model.add(Input(shape=(1,)))                 # 입력층 : 특성 1개(공부 시간)
model.add(Dense(1, activation='sigmoid'))    # 출력층 : 시그모이드 → 0~1 확률
model.compile(optimizer='sgd', loss='binary_crossentropy')
history = model.fit(x, y, epochs=5000, verbose=0)   # 학습 로그 생략

w, b = model.get_weights()
print("마지막 loss :", round(history.history['loss'][-1], 4))
print("가중치 w(a) :", round(float(w[0][0]), 4), " 편향 b :", round(float(b[0]), 4))
print("확률 50% 지점 x = -b/w :", round(float(-b[0] / w[0][0]), 2), "시간")

for hour in [5, 7, 9]:
    p = model.predict(np.array([[hour]]), verbose=0)[0][0]   # 2차원으로 넣고 숫자 하나 꺼내기
    print(f"{hour}시간 공부 → 합격 확률 {p * 100:.1f}%")

▶ 실행 결과 (TensorFlow 2.21 / CPU · 시드 1)

마지막 loss : 0.1893
가중치 w(a) : 0.6116  편향 b : -3.8869
확률 50% 지점 x = -b/w : 6.36 시간
5시간 공부 → 합격 확률 30.4%
7시간 공부 → 합격 확률 59.7%
9시간 공부 → 합격 확률 83.4%

학습된 가중치 0.6116이 시그모이드의 a, 편향 −3.8869가 b입니다. −b / a = 6.36이므로 이 모델은 약 6.4시간을 합격·불합격의 경계(확률 50%)로 판단했습니다. 데이터에서 불합격(6시간)과 합격(8시간) 사이에 경계가 생긴 것입니다.

05 선형 회귀 vs 로지스틱 회귀

무엇을 예측하느냐에 따라 함수와 오차 공식이 바뀐다

✓ 2주차와 연결하기
2주차에서 출력층은 문제 종류에 따라 달라진다고 배웠습니다.

이진 분류는 시그모이드 뉴런 1개, 회귀는 선형 함수를 씁니다. 오늘 만든 로지스틱 회귀 모델이 바로 시그모이드 뉴런 1개짜리 이진 분류 신경망입니다.

06 퍼셉트론

3강 · 뇌의 뉴런을 흉내 낸 최초의 학습하는 신경망

인공지능의 시작 — 뉴런

인간의 뇌는 치밀하게 연결된 뉴런 약 1,000억 개로 이루어져 있습니다(강의노트 기준). 뉴런은 서로 긴밀히 연결되어 신경 말단부터 뇌까지 곳곳에서 자신의 역할을 수행하고, 이 복잡하고 어려운 조합의 결과가 바로 생각입니다.

📖 보충 — 뉴런 수는 약 860억 개
오랫동안 널리 인용된 1,000억 개는 다른 측정값에서 어림한 숫자로, 이를 직접 뒷받침하는 논문이 없었습니다. 2009년 아제베두(Azevedo) 연구팀이 성인 남성의 뇌를 실제로 세어 보니 평균 약 861억 개(±81억)였습니다. 현재는 약 860억 개가 더 정확한 값으로 쓰입니다. 시험은 강의노트 기준(약 1,000억 개)으로 답하세요. (근거: MIT CBMM, How many neurons are there in human brain?, 2023)

임계 값을 넘지 못하면 신호가 전달되지 않습니다. 입력값을 놓고 활성화 함수에 의해 일정한 수준을 넘으면 참, 그렇지 않으면 거짓을 내보내는 로지스틱 회귀와 꼭 닮았습니다. 그래서 과학자들은 생각했습니다. 뉴런과 비슷한 메커니즘을 쓰면 인공적으로 생각하는 무언가를 만들 수 있지 않을까?

인공 신경망의 탄생

📖 보충 — 맥컬럭-월터 피츠는 두 사람
강의노트의 맥컬럭-월터 피츠(McCulloch-Walter Pitts)는 한 사람의 이름이 아니라 워런 매컬럭(Warren McCulloch)과 월터 피츠(Walter Pitts) 두 사람입니다. 두 사람이 1943년에 함께 쓴 논문 A Logical Calculus of the Ideas Immanent in Nervous Activity가 켜고 끄는 신경을 그물망으로 연결하는 인공 신경망 아이디어의 출발점입니다. (근거: Wikipedia, A Logical Calculus of the Ideas Immanent in Nervous Activity)

인공 신경망(artificial neural network)은 1943년의 아이디어를 바탕으로, 1957년 프랑크 로젠블랫(Frank Rosenblatt)이 실제 장치로 만든 퍼셉트론(perceptron)에서 본격적으로 시작됩니다. 퍼셉트론은 여러 개의 입력 값을 받아 출력을 만들고, 입력 값의 가중치를 조절할 수 있게 만들어 최초로 학습을 수행했습니다. 3년 후에는 경사 하강법을 도입해 최적의 경계선을 그릴 수 있게 한 아달라인(Adaline)이 개발되었고, 이 흐름은 

서포트 벡터 머신

(Support Vector Machine) 같은 머신러닝의 중요한 알고리즘으로 발전했습니다. 시그모이드를 활성화 함수로 사용한 것이 바로 오늘 배운 로지스틱 회귀입니다.

퍼셉트론의 구조

📖 퍼셉트론 (perceptron)
입력 데이터를 받아 처리하고 결과를 출력하는 단순한 알고리즘. 이진 분류 문제를 해결하는 데 사용

📖 가중합 (weighted sum)
입력 값과 가중치를 모두 곱한 후 바이어스(편향)를 더한 값 → w₁x₁ + w₂x₂ + b

계단 함수는 가중합이 0보다 크면 1, 아니면 0을 내는 함수입니다. 시그모이드가 0~1 사이를 부드럽게 오가는 S자라면, 계단 함수는 0에서 1로 뚝 끊어 올라가는 계단 모양입니다. 가중치를 직접 정해서 퍼셉트론 하나로 AND와 OR 판단을 해 보겠습니다.

계단 함수 퍼셉트론으로 AND · OR 판단하기

def step(z):
    return 1 if z > 0 else 0       # 계단 함수 : 0보다 크면 1, 아니면 0

def perceptron(x1, x2, w1, w2, b):
    z = w1 * x1 + w2 * x2 + b      # 가중합
    return step(z)

for x1, x2 in [(0, 0), (0, 1), (1, 0), (1, 1)]:
    print(f"x1={x1}, x2={x2} → AND {perceptron(x1, x2, 0.5, 0.5, -0.7)}, OR {perceptron(x1, x2, 0.5, 0.5, -0.2)}")

▶ 실행 결과 (w1 = w2 = 0.5, AND는 b = −0.7 · OR는 b = −0.2)

x1=0, x2=0 → AND 0, OR 0
x1=0, x2=1 → AND 0, OR 1
x1=1, x2=0 → AND 0, OR 1
x1=1, x2=1 → AND 1, OR 1

가중치는 같고 편향만 바꿨을 뿐인데 AND와 OR가 모두 만들어졌습니다. 둘 다 1이어야 가중합 0.5 + 0.5 − 0.7 = 0.3이 0을 넘으면 AND, 하나만 1이어도 0.5 − 0.2 = 0.3이 0을 넘으면 OR입니다.

퍼셉트론 · 아달라인 · 로지스틱 회귀 비교

📖 보충 — 아달라인도 결국은 참·거짓을 가르는 분류기
강의노트는 아달라인을 선형 회귀와 비슷하게 연속적인 값 예측에 사용한다고 설명합니다. 정확히는 학습할 때만 연속적인 값을 씁니다. 1960년 버나드 위드로(Bernard Widrow)와 마션 호프(Marcian Hoff)가 만든 아달라인은, 계단 함수를 거치기 전의 가중합(연속적인 값)과 정답의 차이를 제곱 오차로 재고 경사 하강법으로 가중치를 고칩니다. 퍼셉트론이 계단 함수를 거친 후의 0·1 출력으로 가중치를 고치는 것과 다른 점입니다. 그리고 최종 판단에서는 가중합을 계단 함수에 넣어 참(1)과 거짓(0)을 판별합니다. 즉 아달라인은 연속적인 오차로 학습하는 분류기이고, 이 방식이 오늘의 경사 하강법 학습으로 이어졌습니다. (근거: Wikipedia, ADALINE)

퍼셉트론이 완성되고 아달라인이 보완하자, 다양한 문제를 해결하는 인공지능이 곧 개발될 것이라는 기대가 커졌습니다. 그러나 퍼셉트론에는 한계가 있었습니다.

07 XOR 문제 — 퍼셉트론의 한계

직선 하나로는 나눌 수 없는 문제

⚠️ 질문
직선의 한쪽 편에는 검은 점만, 다른 한쪽에는 흰 점만 있도록 선을 그을 수 있을까요? 네 점이 검은 점-흰 점-검은 점-흰 점처럼 대각선으로 엇갈려 있으면, 직선을 어떻게 그어도 한쪽에 두 색이 섞입니다.

이 질문을 컴퓨터 논리 회로로 옮긴 것이 AND, OR, XOR입니다. 입력 x₁, x₂의 네 가지 경우에 대한 결과를 

진리표

로 정리하면 다음과 같습니다.

퍼셉트론이 스스로 가중치를 고치며 세 문제를 학습하게 해 보겠습니다. 예측이 틀리면 틀린 만큼 가중치와 편향을 조금씩 고치는 퍼셉트론 학습 규칙을 20번 반복합니다.

퍼셉트론에게 AND · OR · XOR 학습시키기

def train_perceptron(X, y, lr=0.1, epochs=20):
    w = np.zeros(2); b = 0.0
    for _ in range(epochs):
        for xi, target in zip(X, y):
            pred = 1 if np.dot(w, xi) + b > 0 else 0
            w += lr * (target - pred) * xi      # 틀린 만큼 가중치 수정
            b += lr * (target - pred)
    return w, b

X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
gates = {"AND": [0, 0, 0, 1], "OR": [0, 1, 1, 1], "XOR": [0, 1, 1, 0]}
for name, y in gates.items():
    w, b = train_perceptron(X, np.array(y))
    pred = [1 if np.dot(w, xi) + b > 0 else 0 for xi in X]
    acc = np.mean(np.array(pred) == np.array(y)) * 100
    print(f"{name:3} : 정답 {y} / 예측 {pred} / 정확도 {acc:.0f}%")
    print("     w =", np.round(w, 2), " b =", round(b, 2))

▶ 실행 결과 (학습률 0.1, 20번 반복)

AND : 정답 [0, 0, 0, 1] / 예측 [0, 0, 0, 1] / 정확도 100%
     w = [0.2 0.1]  b = -0.2
OR  : 정답 [0, 1, 1, 1] / 예측 [0, 1, 1, 1] / 정확도 100%
     w = [0.1 0.1]  b = 0.0
XOR : 정답 [0, 1, 1, 0] / 예측 [1, 1, 0, 0] / 정확도 50%
     w = [-0.1  0. ]  b = 0.1

AND와 OR는 100% 맞혔지만 XOR는 50%에 그쳤습니다. 반복 횟수를 늘려도 마찬가지입니다. 직선 하나(w₁x₁ + w₂x₂ + b = 0)로 나눌 수 없는 문제는 아무리 가중치를 고쳐도 풀 수 없기 때문입니다. 네 점을 좌표 평면에 그려 보면 이유가 보입니다.

AND · OR · XOR를 좌표 평면에 그리기

import matplotlib.pyplot as plt

lines = {"AND": (0.5, 0.5, -0.7), "OR": (0.5, 0.5, -0.2)}   # 06에서 쓴 w1, w2, b
fig, axes = plt.subplots(1, 3, figsize=(12, 4))
for ax, (name, y) in zip(axes, gates.items()):
    y = np.array(y)
    ax.scatter(X[y == 1, 0], X[y == 1, 1], c='black', s=150)                        # 결과 1 : 검은 점
    ax.scatter(X[y == 0, 0], X[y == 0, 1], c='white', edgecolors='black', s=150)    # 결과 0 : 흰 점
    if name in lines:
        w1, w2, b = lines[name]
        xs = np.linspace(-0.5, 1.5, 10)
        ax.plot(xs, -(w1 * xs + b) / w2, 'r')    # w1*x1 + w2*x2 + b = 0 인 경계선
    else:
        ax.text(0.5, 0.5, '?', fontsize=30, ha='center', va='center')
    ax.set_title(name)
    ax.set_xlim(-0.5, 1.5); ax.set_ylim(-0.5, 1.5)
plt.show()

▶ 실행 결과 (그래프 출력)

(AND와 OR는 빨간 직선 하나로 검은 점과 흰 점이 나뉘고, XOR는 대각선으로 엇갈린 점 사이에 물음표가 나타남 — 아래 그림 4)

📖 XOR 문제는 어떻게 풀었나? (7주차 예고)
선을 하나가 아니라 여러 개 쓰면 됩니다. 퍼셉트론을 여러 층으로 쌓은 다층 퍼셉트론(multilayer perceptron)과, 출력의 오차를 거꾸로 전달하며 각 층의 가중치를 고치는 

오차 역전파

(back propagation)로 해결했습니다. 다음 주 주제인 7. 다층 퍼셉트론에서 자세히 다룹니다.

📖 심화 — XOR 문제가 남긴 충격
퍼셉트론의 이 한계를 널리 알린 것은 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)가 1969년에 펴낸 책 Perceptrons입니다. 책은 퍼셉트론이 XOR(배타적 논리합) 같은 일부 논리 문제를 풀지 못한다는 점을 지적했고, 이 비판은 인공지능 연구에 큰 영향을 주어 한동안 신경망이 인기 없는 분야가 되었습니다. (근거: Lehigh University Libraries, Perceptrons; an Introduction to Computational Geometry)

❌ 시험 함정 — XOR는 선 하나로 나눌 수 없다
XOR 문제는 진리표대로 좌표 평면에 점을 찍었을 때 선을 그어 색이 같은 점끼리 나누기가 불가능한 문제입니다. 나누기가 가능하다고 하면 틀립니다. AND와 OR는 선 하나로 나눌 수 있지만 XOR는 안 된다는 점, 그리고 해결책이 다층 퍼셉트론과 오차 역전파라는 점을 함께 기억하세요.

08 핵심 정리

시험 직전에 이것만은 꼭

📌 핵심 정리

· 로지스틱 회귀 : 참(1)과 거짓(0) 사이를 구분하는 S자 형태의 선을 그어 주는 작업. Yes/No처럼 좁은 범위의 선택에 적용
· 시그모이드 함수 : S자 그래프 함수. y = 1 / (1 + e^−(ax+b)) (강의노트는 1 − e로 오기). a = 경사도(클수록 가파름), b = 좌우 이동
· a·b와 오차 : a가 작을수록(0에 가까울수록) 오차 큼 / b는 너무 작거나 크면 오차 큼(이차 함수 모양)
· 오차 공식 : 참과 거짓 판단에는 평균 제곱 오차 대신 교차 엔트로피 오차. 실제 1 → −log h(파란 선), 실제 0 → −log(1−h)(빨간 선), 합치면 −{y log h + (1−y) log(1−h)}
· 케라스 실습 : Dense(1, input_dim=1, activation='sigmoid') + compile(loss='binary_crossentropy'). 최신 케라스에서는 predict(np.array([[hour]]))로 넣기
· 퍼셉트론 : 여러 입력에 가중치를 곱해 더한 가중합을 계단 함수로 판단. 가중치를 조절해 최초로 학습 수행 (1957, 로젠블랫)
· 구조 : 입력층(feature) · 가중치(중요도) · 편향(유연성) · 활성화 함수(주로 계단 함수)
· 아달라인 : 경사 하강법 도입, 최적의 경계선. 선형 회귀와 비슷, 연속적인 값 예측(강의노트) → 정확히는 학습은 계단 함수 전의 가중합(연속값)으로, 최종 판단은 계단 함수로 하는 분류기
· XOR 문제 : 진리표대로 좌표에 찍으면 선 하나로 같은 색 점끼리 나눌 수 없음 → 다층 퍼셉트론 + 오차 역전파로 해결

태그 : 로지스틱 회귀란시그모이드 함수 공식선형 회귀 로지스틱 회귀 차이교차 엔트로피 오차케라스 binary_crossentropy로지스틱 회귀 파이썬 예제퍼셉트론이란퍼셉트론 아달라인 차이XOR 문제란계단 함수 활성화 함수

출처 : 이 글은 부산디지털대학교(BDU)의 '파이썬 기반의 AI프로그래밍' 과목 2026년도 강의노트를 참고하여 학습용으로 작성한 글입니다.

보충 자료 (📖 보충·심화 박스의 근거)
· 시그모이드 함수의 표준 식 : Mathwords, Sigmoid Function — Definition, Formula & Graph
· 사람 뇌의 뉴런 수 : MIT CBMM (2023.5.2), How many neurons are there in human brain?, #TeachMeSomething
· 매컬럭과 피츠의 1943년 논문 : Wikipedia, A Logical Calculus of the Ideas Immanent in Nervous Activity
· 아달라인의 학습 방식 : Wikipedia, ADALINE
· 민스키와 페퍼트의 Perceptrons(1969) : Lehigh University Libraries, Perceptrons; an Introduction to Computational Geometry

= 26/10/08 류효상의 신문을 통해 알게 된 이야기들 =

이 대통령 인사권 엄호 나선 김민석.
1. 김민석 대표가 김지용 중수청장 후보자 인선에 반발하는 당내 강경파를 겨냥해 "당에서 제어를 할 때가 됐다"고 밝혔습니다. 최근 이재명 대통령이 "무책임한 극단주의" 같은 표현을 사용하며 강경파의 지명 철회 요구를 일축하고 정면 돌파에 나선 가운데 김 대표도 지원 사격에 나서는 모양새입니다.
콩가루 집안 국민의힘도 국감에 집중하며 내분을 잠재우는 형국인데 민주당의 이런 모습.. 글쎄요~

한 끼에 하루 식비 다 쓴 민주평통.
2. 민주평화통일자문회의가 해외 자문위원들을 국내로 초청해 여는 해외지역회의에서 하루 식비 한도를 웃도는 8만 원대 호텔 만찬을 제공해 논란입니다. '하루 식비' 한도인 59달러를 사실상 '한 끼 식비'로 계산해 적용한 것으로, 이 같은 초과 집행은 2022년 이후 수년간 반복된 걸로 파악됐습니다.
정권이 바뀔 때마다 각종 논란의 핵심이며 지 할 일 못하는 이놈의 민주평통 역시 개혁의 대상임~

대법원, '룸살롱 접대' 지귀연 징계절차 진행.
3. 룸살롱 접대 의혹으로 재판에 넘겨진 지귀연 부장판사에 대해 대법원이 징계 절차를 추진할 예정이라고 밝혔습니다. 하지만 "공수처 수사를 방해하고 법원이 영장을 4번이나 기각했다"는 지적에 노경필 행정처장은 "송구하지만, 저희는 개별 사건, 특히 재판에 관여하지 않는다"고 선을 그었습니다.
영장을 4번이나 반려하는 게 자기 식구 감싸기 아니고 뭐냐? 저러고 관여하지 않는다면 개가 웃어요~

이상민, 윤석열 김건희보다 접견 많아.
4. 작년 7월부터 구속 상태인 이상민 전 행정안전부 장관이 변호인과 일반 접견을 합쳐 600건을 넘는 것으로 나타났습니다. 이는 윤석열과 김건희보다 접견 횟수가 많은 것으로, 일반 접견실이 아닌 별도 장소에서 이뤄지는 특별 접견도 7차례 있었고, 7건 모두 시작과 종료 시각은 기록돼 있지 않았습니다.
하루에 접견을 1.5회 이상 하고 수감 생활 대부분을 접견실에서 보내는 이런 특혜가 말이 되냐?

'가짜 경찰' 조롱한 20대 줄줄이 실형.
5. 6·3 지방선거 직후 잠실 올림픽 공원 개표소 시위 현장에서 한 경찰관을 30분 넘게 따라다니며 '가짜 경찰' ‘중국 공안 경찰’ 등으로 몰아세운 20대 남성 세 명이 징역 6개월의 실형을 선고받았습니다. 이들은 '진짜 경찰인 줄 몰랐다'며 고의가 아니라고 주장했지만, 재판부는 받아들이지 않았습니다.
극우 놀이에 빠져서 헤어나지 못하더니 결국 평생 전과자로 살아야 한다는 거~ 후회해도 소용없지~

버거킹, 키움증권으로 몰려간 극우들.
6. 영화 ‘암살자(들)’이 역사를 왜곡했다면서, 주연 배우 유해진 씨를 공격해 온 극우단체들이 유해진 씨 집 앞을 떠나 버거킹과 키움증권 본사 앞으로 몰려갔습니다. 배우는 자기 작품에 책임을 져야 한다며 돌연 이번 작품과는 전혀 상관없는 버거킹과 증권 회사 광고모델 활동까지 문제 삼고 나온 것입니다.
강력 대처하겠다니까 유해진 집 앞에서 일단 철수한 모양인데 이런 개들은 ‘금융 치료’가 정답임.

튀르키예·파키스탄 사우디에 파병 결정.
7. 튀르키예와 파키스탄이 이란의 지원을 받는 예멘 후티 반군으로 부터 사우디아라비아가 공격을 당하자 ‘3국의 집단방위 의무‘를 즉각 이행한다며 군 병력을 배치하기로 했습니다. 미국의 대이란 군사작전이 재개될 수 있다는 우려 속에서 이란 전쟁이 중동 전체로 확전될 가능성이 커졌다는 분석이 나옵니다.
네타냐후와 트럼프가 일으킨 전쟁이 결국 유럽 코앞에까지 확산할 모양입니다~ 진짜 걱정이 태산이네~

광주 음식점 메뉴에 5·18 비하 메뉴 논란.
8. 전남광주 동명동 한 음식점이 5·18을 폄훼하는 메뉴를 사용해 논란입니다. 극우 커뮤니티에서 광주 희생자들을 조롱하는 ‘피떡갈비’를 메뉴명으로 사용해 논란이 커지자, 해당 가게 측은 사과하고 메뉴를 바로 삭제했지만, 온라인에서는 해당 메뉴를 우연히 만들어진 것으로 보기 어렵다는 반응입니다.
이만큼 대한민국이 극우화되었다는 방증인 만큼 더 각성하고 더 단단하게 맞서 싸워야 합니다~

치킨 3사, 공정위 조사받는다.
9. 국내 주요 치킨 3사(bhc·BBQ·교촌치킨)가 공정거래위원회의 가격 담합 현장 조사를 받으며 당국의 전방위 압박에 직면했습니다. 치킨 3사는 산지 생닭 시세의 일시적 변동만으로 최종 소비자 판매가격 조정을 요구하는 것은 현실적인 외식업 원가 구조를 반영하지 못한 처사라고 항변하고 있습니다.
마트에 가면 생닭 한 마리가 4000원도 안 하는데 후라이드 한 마리가 2만3000원이면 좀 그렇지?

국민 52% "필요시 사형 집행해야".
10. 국민 절반 이상이 사형제를 유지하고 필요할 경우 집행해야 한다고 답했습니다. 국제앰네스티 한국지부의 사형제 관련 국민 인식 조사에 따르면 전체 응답자 1000명 가운데 52.9%는 한국의 사형제도에 대해 "필요할 경우 집행해야 한다"고 답했고, 지금처럼 유지해야 한다는 응답은 34.3%였습니다.
사형제를 완전 폐지해야 한다는 의견은 고작 8.5%에 불과해서 아직 법적 폐지는 어려울 듯~

이 대통령, 가수 박진영 국감 출석에 "안타깝고 미안해".
검찰 개혁 끝났는데 청와대·혁신당 공방 반복에 “자제해야”.
육영수 찾은 장동혁, 노무현 겨눈 한동훈 주도권 쟁탈전.
'명태균 여론조사' 윤석열 항소심 무죄, 1심 유죄 뒤집혀.
한동훈 공세에 맞받은 조현, 표정 지적엔 "더 이상 어떻게".
트럼프 "이란이 LA·샌디에이고 파괴하게 두라" 파문 확산.
“부캉이 보자” 구조 실패 후 방문객 늘어 100만 명 넘었다.
역대 최강 엘니뇨 온다. “다음달부터 우리나라에도 많은 비”.

무엇을 하게 되어 있든 간에 지금 당장 하라. 조건이 완벽해지는 순간은 결코 오지 않는다.
-도리스 레싱-

아마 역풍을 걱정하고 두려워하는 좀생이들에게 꼭 필요한 얘기가 아닌가 싶습니다. 개혁과 청산이 누구 눈치 봐가며 해야 할 일이라면 말 그대로 죽도 밥도 되지 못할 수 있다는 것을 먼저 걱정해야 할 것입니다.

류효상 올림.

출처 : 인천의소리(http://www.voi.co.kr)

📚 부산디지털대학교 '빅데이터 프로세싱' 6주차 강의노트를 바탕으로 정리한 학습 노트입니다. (출처는 글 하단 참고)

01 빅데이터 분석 기술이란

짧은 시간 안에, 더 많은 정보를

📖 빅데이터 분석
· 대량의 데이터로부터 숨겨진 패턴과 알려지지 않은 정보 간의 관계를 찾아내기 위한 과정
· 기존에 쓰던 분석 기술(데이터 마이닝, 예측 분석 등)의 알고리즘을 대규모 데이터 처리에 맞게 개선해 빅데이터 처리에 적용

✓ 기존 데이터 분석과 무엇이 다를까?
빅데이터 분석은 짧은 시간 안에 더 많은 정보를 빅데이터로부터 추출하는 것을 목표로 합니다. 분석 방법 자체가 완전히 새로운 것이 아니라, 기존 방법을 훨씬 큰 데이터에 빠르게 적용할 수 있도록 바꾼 것이라는 점이 핵심입니다.

02 분석 기술 ① 텍스트·오피니언·리얼리티 마이닝과 소셜네트워크 분석

글, 의견, 행동, 관계를 캐내다

📖 보충 — 오피니언 마이닝과 감성 분석은 같은 분야
강의노트는 오피니언 마이닝과 감성 분석(섹션 03)을 서로 다른 기술로 나열하지만, 이 분야의 대표 연구자인 빙 리우(Bing Liu)는 '감성 분석과 오피니언 마이닝은 글에 나타난 사람들의 의견·감정·평가·태도를 분석하는 연구 분야'라고 하나의 분야로 정의합니다(Bing Liu, 『Sentiment Analysis and Opinion Mining』, 2012). 굳이 나누면 오피니언 마이닝은 '무엇에 대한 의견인가'를 찾는 데, 감성 분석은 '긍정인가 부정인가'를 판단하는 데 무게를 둔다고 볼 수 있습니다. 시험에서는 강의노트처럼 8가지를 따로 기억하세요.

03 분석 기술 ② 분류 · 군집화 · 기계학습 · 감성 분석

정답이 있는 학습과 없는 학습

❌ 시험 함정 — 분류 vs 군집화
분류 = 정답이 있다(지도학습), 군집화 = 정답이 없다(비지도 학습). 둘 다 '나눈다'는 점이 같아서 헷갈리기 쉬운데, 미리 정해진 클래스가 있으면 분류, 데이터를 보고 묶음을 새로 찾으면 군집화입니다.

04 데이터 마이닝으로 얻을 수 있는 결과

분류부터 연속성까지 8가지

데이터 마이닝은 마케팅 관리 시스템, 신용 평점 시스템의 신용평가 모형 개발 등 다양한 산업 분야에서 쓰입니다.

※ '광고비가 매출에 주는 영향' 예시는 이해를 돕기 위해 덧붙였습니다.

❌ 시험 함정 — 회귀 분석
평가 문제의 정답은 "하나 이상의 변수 간의 영향이나 관계를 분석"입니다. "패턴 기반 미래 예측"은 예측, "특정 정의로 분류 추론"은 분류, "동시에 발생한 사건 간 관계"는 연관 규칙입니다.

⚠️ 데이터 마이닝의 한계
데이터 마이닝은 데이터에 의존해 현상을 해석하고 개선하기 때문에, 데이터가 현실을 충분히 반영하지 못하면 잘못된 모형을 구축하는 오류를 범할 수 있습니다.

05 빅데이터 분석 제품

자연어 처리와 기계 학습 도구들

※ NLTK는 Natural Language Toolkit의 약자로, 파이썬(Python)용 자연어 처리 라이브러리입니다. scikit-learn은 현재 파이썬 기계 학습의 대표 라이브러리이며 이름이 scikit-learn으로 정리되었습니다.

06 빅데이터 표현 기술과 시각화

분석 결과를 한눈에

📖 빅데이터 표현 기술
특정 기준에 따라 수집·저장·분석·관리 기술로 분석된 데이터의 특징이나 분석 결과를 분석가와 사용자들이 쉽게 이해할 수 있도록 그림이나 그래프 등으로 표현(시각화)해 주는 기술

✓ 강의노트가 강조하는 두 문장
· 빅데이터 분석에서는 가장 중요한 기술 분야가 표현 단계이며, 잘 디자인된 시각화의 도움을 받으면 훨씬 더 많은 정보를 얻을 수 있다.
· 시각화란 데이터 분석 결과를 이해하기 쉽도록 일목요연하게 보여 주는 기술과 비법을 의미한다.

시각화의 3단계

07 시각화 방법 5가지

시간 · 분포 · 관계 · 비교 · 공간

※ 강의노트의 '도우넛 차트'는 '도넛 차트'로 적었습니다.

✓ 상황별로 고르기
· 월별 매출 추이 → 시간 (막대·점 그래프)
· 매출에서 각 상품이 차지하는 비중 → 분포 (파이·트리맵)
· 광고비와 매출의 관계 → 관계 (스캐터플롯)
· 여러 지점을 여러 지표로 비교 → 비교 (히트맵·스타 차트)
· 지역별 매장 분포 → 공간 (지도 맵핑)

📖 보충 — 히스토그램은 '관계'보다 '분포'를 보는 그래프
강의노트는 히스토그램을 관계 시각화로 분류합니다. 하지만 히스토그램은 값을 구간(bin)으로 나눠 각 구간에 속한 개수를 막대로 그리는 그래프로, 데이터 분석 교재에서는 '하나의 수치형 변수의 분포를 이해하는 기본 도구'로 설명합니다(apxml, 탐색적 데이터 분석 과정). 두 변수의 상관관계를 보는 스캐터플롯·버블 차트와는 성격이 다릅니다. 또한 강의노트의 '분포 시각화'(파이·도넛·트리맵)는 통계에서 말하는 분포라기보다 전체 중 부분의 비중을 보여 주는 차트입니다. 시험은 강의노트 분류(히스토그램 = 관계 시각화)로 답하세요.

08 빅데이터 표현 제품

태그 구름부터 그래프 데이터베이스까지

📖 보충 — 표현 제품, 지금은 어떻게 되었을까
· Fusion Tables : 구글은 '2019년 12월 3일 Fusion Tables와 API를 종료'한다고 공지했고, 현재는 쓸 수 없습니다(Google Workspace 업데이트 블로그, 2018.12).
· Tableau : 세일즈포스(Salesforce)가 2019년 8월 1일 인수를 완료했습니다(Salesforce 투자자 공시). 강의노트의 P. Hanrahan(팻 한라한)은 공동 창업자입니다.
· TinkerPop : 지금은 아파치 재단의 Apache TinkerPop입니다. 공식 문서에 따르면 TinkerPop3부터 Blueprints, Pipes, Gremlin, Frames, Furnace, Rexster가 모두 통합되어 'Gremlin'으로 불리며, 예를 들어 Rexster는 Gremlin Server, Pipes는 GraphTraversal이 되었습니다. 강의노트의 '세부 서비스 6가지'는 TinkerPop2 시절의 구성입니다. 위키백과의 Gremlin 문서에 따르면 TinkerPop 프로젝트는 2009년 10월에 시작되었고, 그래프 순회 언어 Gremlin은 마르코 A. 로드리게스(Marko A. Rodriguez)가 설계했습니다. 강의노트가 최초 개발자로 적은 'A. Aerbuch'가 누구인지는 공개 자료에서 확인하지 못했습니다.
· Clustergram : 강의노트가 개발자로 적은 마티아스 쇤라우(Matthias Schonlau)는 2002년 「Stata Journal」 논문에서 클러스터그램을 처음 제안했습니다. 다만 그가 말한 클러스터그램은 '군집 수를 늘려 갈 때 각 데이터가 어느 군집으로 배정되는지'를 보여 주는 그래프로, 데이터가 많아 덴드로그램을 그리기 어려울 때 쓰는 대안입니다. 강의노트가 설명하고 그림으로 보여 준 '덴드로그램 + 히트맵' 형태는 매트랩(MATLAB)의 같은 이름의 함수(clustergram) 출력으로, 이름은 같지만 서로 다른 그래프입니다.

09 빅데이터 시각화 사례

언론 · 교통 · 방역

※ 사례 설명은 강의노트 그림을 글로 풀어 쓴 것입니다.

✓ 사례로 시각화 방법 복습하기
언론진흥재단 = 시간(막대)·분포(도넛) 시각화, 생활이동 데이터 = 공간 시각화, 코로나 감염 경로 = 관계(네트워크) 시각화. 좋은 대시보드는 여러 시각화 방법을 함께 씁니다.

10 빅데이터 플랫폼 활용 트렌드 ① 개별 사업 부문

마케팅 · 행동 예측 · 리스크 관리 · 2차 수익

※ 강의노트의 '판매 전력'은 '판매 전략'의 오기로 보입니다.

11 활용 트렌드 ② 그룹 차원 · ③ 이종 산업 간 융합

데이터를 합치면 새로운 서비스가 보인다

③ 이종 산업 간 데이터 융합

📖 보충 — KT와 서울시 협력의 대표 결과 — 올빼미버스
서울시 공식 매체 '내 손안에 서울'에 따르면, 서울시는 심야버스(올빼미버스) 노선을 정하기 위해 심야택시 승·하차 데이터 500만 건과 KT의 통화량 데이터 30억 건을 결합해 심야 유동인구를 분석했고, 그 결과 총 9개 노선이 만들어졌습니다. 올빼미버스는 2013년 9월 정식 운행을 시작했습니다. 통신(민간)과 교통(공공) 데이터를 합친 이종 산업 간 데이터 융합의 대표 사례입니다.

12 빅데이터 활용 효익 · 원천 · 유형

무엇을 얻고, 어디서 구하고, 어떻게 쓰나

기업이 활용하는 빅데이터의 원천 — 입수 용이성 × 시장 가치

📖 풍부해진 빅데이터 원천
최근에는 기업이 필요로 하는 사내·외 데이터를 전문적으로 수집·분석해 제공하는 '데이터 어그리게이터', 인구·통계·금융 등 데이터를 한곳에 모아 거래하는 '데이터 마켓플레이스'도 등장해 빅데이터 원천이 풍부해지고 수집이 쉬워졌습니다. (2주차에서 본 '데이터 거래소'가 바로 데이터 마켓플레이스입니다.)

기업의 빅데이터 활용 유형 — 처리 시점 × 최적화 대상

❌ 시험 함정 — 활용 유형은 4가지
평가 문제 "기업의 빅데이터 활용 유형은 데이터 처리 시점과 최적화 대상 관점에서 4가지로 구분한다"의 정답은 O입니다. 처리 시점(실시간 vs 사후) × 최적화 대상(개별 vs 전체) = 4가지. 빅데이터의 원천(사내·사외 × 핵심·비핵심)도 4가지라 헷갈리기 쉬우니 축을 함께 외우세요.

✓ 예시로 구분하기
· 실시간·개별 : 내 위치에 맞춰 바로 뜨는 근처 가게 쿠폰
· 실시간·전체 : 도로 전체의 실시간 교통 흐름 안내
· 사후·개별 : 지난 1년 구매 이력으로 만든 나만의 추천
· 사후·전체 : 작년 데이터로 정한 올빼미버스 노선(섹션 11)

※ 예시는 이해를 돕기 위해 덧붙였습니다.

13 활용 사례 — 파리바게뜨 날씨 판매지수

날씨로 빵 주문량을 조절하다

날씨는 기업과 국가, 개인의 일상생활과 경제 활동에 큰 영향을 끼칩니다. 강의노트는 날씨와 유통업 매출 간의 관계를 다음과 같이 소개합니다.

추진 내용

⚠️ 강의노트의 아쉬운 현실 진단
국내 기상 정보 업체는 16개 정도가 있고 날씨 관측·분석 기술도 우수하지만, 날씨를 경영과 마케팅에 적극적으로 활용하는 기업은 매우 드문 상황이라고 강의노트는 지적합니다.

14 핵심 정리

시험 직전에 이것만은 꼭

📌 핵심 정리

· 빅데이터 분석 : 대량의 데이터에서 숨겨진 패턴과 정보 간 관계를 찾는 과정. 목표 = 짧은 시간 안에 더 많은 정보 추출
· 분석 기술 8가지 : 텍스트 마이닝(자연어 처리, 비·반정형 텍스트), 오피니언 마이닝(의견), 리얼리티 마이닝(휴대폰으로 인간관계·행동), 소셜네트워크 분석(그래프 이론, 영향력), 분류(지도학습, KNN), 군집화(비지도 학습, K-평균), 기계학습(스팸 판단 등), 감성 분석(긍정/부정 지수화)
· 데이터 마이닝 결과 8가지 : 분류, 예측, 시계열 분석, 회귀 분석(변수 간 영향·관계), 군집화, 연관 규칙(동시 발생 사건 관계), 요약, 연속성(보통 순차 패턴 — 시간 순서가 있는 사건의 규칙)
· 데이터 마이닝의 한계 : 데이터가 현실을 반영하지 못하면 잘못된 모형 구축
· 분석 제품 : NLTK, OpenNLP, Boilerpipe, WEKA, Mahout, Scikits_learn
· 표현 기술 : 분석 결과를 그림·그래프로 표현(시각화). 장점 = 문제 부분 한눈에 파악, 큰 흐름 파악. 단계 = 정보 구조화 → 시각화 특성 정의 → 정보 시각화
· 시각화 5가지 : 시간(막대·누적 막대·점), 분포(파이·도넛·트리맵·누적 연속), 관계(스캐터플롯·버블·히스토그램), 비교(히트맵·스타 차트·평행 좌표계·다차원 척도법), 공간(지도 맵핑)
· 표현 제품 : Tag Cloud, Gephi(네트워크), GraphViz(흐름도·트리), Processing(DBN 기반 언어), Fusion Tables(구글 온라인), Tableau(데스크톱 시각 분석), TinkerPop(그래프 서버), Clustergram(계층적 군집화), Spatial Information Flow
· 활용 트렌드 : 개별 사업 부문(소셜 분석 마케팅·행동 예측·리스크 관리·2차 수익) → 그룹 차원(라쿠텐 슈퍼 DB·KDB 통합) → 이종 산업 간 융합(SK+NHN, KT+서울시)
· 활용 효익 : 전략적 가치 창출(적시성·효과성·선제적 의사결정), 운영 효율 향상(내부 역량·자동화·프로세스 안정화)
· 빅데이터 원천 : 사내/사외 × 핵심/비핵심. 데이터 어그리게이터, 데이터 마켓플레이스 등장
· 활용 유형 4가지 : 처리 시점(실시간/사후) × 최적화 대상(개별/전체)
· 파리바게뜨 : 5년간 169개 지점 매출 + 기상 자료로 날씨 판매지수 개발 → 주문량 조절, 조리빵 매출 30% 증가, 폐기량 감소

태그 : 빅데이터 분석 기술 종류텍스트 마이닝 오피니언 마이닝 차이분류 군집화 차이데이터 마이닝 결과 종류빅데이터 시각화 방법빅데이터 표현 제품태블로 Gephi GraphViz빅데이터 활용 유형 4가지서울시 올빼미버스 빅데이터파리바게뜨 날씨 판매지수

출처 : 이 글은 부산디지털대학교(BDU)의 '빅데이터 프로세싱' 과목 2026년도 강의노트를 참고하여 학습용으로 작성한 글입니다.

보충 자료 (📖 보충 박스의 근거)
· 감성 분석과 오피니언 마이닝 : Bing Liu (2012), Sentiment Analysis and Opinion Mining, Morgan & Claypool Publishers
· 히스토그램의 정의 : apxml, Visualizing Histograms, 탐색적 데이터 분석(EDA) 입문 과정
· Fusion Tables 서비스 종료 : Google Workspace Updates (2018.12), Google Fusion Tables to be shut down on December 3, 2019
· Tableau 인수 : Salesforce (2019.8.1), Salesforce Completes Exchange Offer for Tableau Common Stock, 투자자 공시
· Apache TinkerPop 구성 통합 : Apache Software Foundation, Apache TinkerPop Reference Documentation (3.3.11)
· TinkerPop 시작 시기와 Gremlin 설계자 : Wikipedia, Gremlin (query language)
· 클러스터그램(Clustergram) : Matthias Schonlau (2002), The clustergram: A graph for visualizing hierarchical and nonhierarchical cluster analyses, The Stata Journal, 2(4), 391-402
· 서울시 올빼미버스 빅데이터 사례 : 내 손안에 서울 (2014.10), [내 손안에 서울 기획] ⑤ 새벽 3시, 불 켜진 버스정류장