머신러닝 - 분류 베이즈 정리와 결정경계

머신러닝에서 베이즈 정리와 결정경계

베이즈 정리란?

베이즈 정리는 조건부 확률을 계산하는 데 사용되는 중요한 수학적 원리이다. 이 정리는 주어진 정보에 기반하여 사건의 확률을 업데이트하는 방법을 제공한다. 예를 들어, 어떤 질병에 대한 검사를 받았을 때, 검사 결과가 양성일 경우 그 질병에 걸릴 확률을 어떻게 계산할 수 있는지를 알려준다. 이처럼 베이즈 정리는 불확실한 상황에서 의사결정을 도와주는 역할을 한다.

베이즈 정리의 수학적 표현 베이즈 정리는 다음과 같은 수식으로 표현할 수 있다:
[ P(C|X) = \frac ] 여기서 ( P(C|X) )는 주어진 데이터 ( X )에 대한 클래스 ( C )의 사후 확률이다. ( P(X|C) )는 클래스 ( C )가 주어졌을 때 데이터 ( X )의 조건부 확률이고, ( P(C) )는 클래스 ( C )의 사전 확률이다. 마지막으로 ( P(X) )는 데이터 ( X )의 주변 확률이다. 이 수식은 머신러닝에서 분류 문제를 해결하는 데 매우 유용하다.

결정경계의 개념

결정경계는 머신러닝에서 분류 문제를 해결할 때, 서로 다른 클래스를 구분하는 경계를 의미한다. 예를 들어, 두 개의 클래스가 있을 때, 이 클래스들을 나누는 선이나 곡선이 바로 결정경계이다. 이 경계는 각 클래스의 확률 분포에 따라 달라지며, 머신러닝 모델이 어떻게 학습하느냐에 따라 결정된다.

베이즈 정리와 결정경계의 관계

베이즈 정리를 사용하면 각 클래스의 확률을 계산할 수 있고, 이를 통해 결정경계를 설정할 수 있다. 예를 들어, 두 개의 클래스 ( C1 )과 ( C2 )가 있을 때, 각 클래스의 확률을 비교하여 결정경계를 설정할 수 있다. 이때, 결정경계는 다음과 같은 조건을 만족해야 한다. [ P(X|C1) \cdot P(C1) = P(X|C2) \cdot P(C2) ] 이 식을 통해 두 클래스의 확률이 같아지는 지점을 찾을 수 있다. 이 지점이 바로 결정경계이다.

베이즈 정리

머신러닝에서의 활용 사례

머신러닝에서는 나이브 베이즈 분류기와 같은 알고리즘이 베이즈 정리를 기반으로 하고 있다. 이 알고리즘은 텍스트 분류, 스팸 필터링 등 다양한 분야에서 활용되고 있다. 나이브 베이즈 분류기는 각 특성이 독립적이라고 가정하고, 이를 통해 빠르고 효율적으로 분류를 수행한다. 이처럼 베이즈 정리는 머신러닝에서 매우 중요한 역할을 하고 있다.
또한, 결정경계는 다양한 머신러닝 모델에서 사용되며, 각 모델의 성능을 평가하는 데 중요한 요소로 작용한다. 예를 들어, SVM(Support Vector Machine)과 같은 모델은 결정경계를 최적화하여 분류 성능을 극대화한다.

 

마무리 및 참고 자료

베이즈 정리와 결정경계는 머신러닝에서 매우 중요한 개념이다. 이 두 가지를 이해하면 머신러닝의 다양한 알고리즘을 더 잘 이해할 수 있다. 

이런 자료를 참고 했어요.
[1] 네피리티 - 머신러닝을 위한 Bayes 정리에 대한 간략한 소개 (https://www.nepirity.com/blog/bayes-theorem-for-machine-learning/)
[2] 유니의 공부 - Bayes Decision Theory란? (베이즈 결정이론이란?) - 유니의 공부 (https://process-mining.tistory.com/81)
[3] GitHub - 베이지안 통계와 머신 러닝 - ZZAEBOK'S BLOG (https://zzaebok.github.io/machine_learning/bayesian-statistics-and-machine-learning/)
[4] 티스토리 - [머신러닝] 분류(Classification) 알고리즘 - iphoong - 티스토리 (https://iphoong.tistory.com/6)