[메모] <딥린이를 위한 AI> 전 직장 CTO에게 들었던 딥러닝/인공지능 설명회 요약

배경설명

재직했던 회사는 물류쪽 대기업을 고객으로 하는 e커머스 전문 SI회사였는데,

파견업무를 그대로 유지하면서 고객사에게 영업할 만한 새로운 솔루션 개발에 혈안이 되어있었다.

 

2022년 5월에 들었던 설명회.

---

 

4차 산업혁명 = 빅데이터 + 인공지능

인공지능이 의미있으려면 빅데이터가 있어야 한다

 

인공지능의 역사

개념은 1940년대부터 존재

1970~1985 1차 Dark Age (multi layer perception)

1995~2010 2차 Dark Age (Vanishing Gradient)

 

인간의 신경망과 기계 신경망

인간은 오랜 학습을 거친 후 직관적으로 판단 가능

특징만 추출하는 데 특화됨

이 과정을 digital하게 구현하는 것이 관건

 

인간의 시냅스는 자극이 임계점을 넘어갈 때 인식 -> 디지털처럼 0/1로 나뉨

결국 인간의 인식도 continuous하지 않고 discrete 한 셈

 

기계신경망

입력층 ->	은닉층 ->	출력층
input layer	hidden layer	output layer
"Cat" "Dog"	w(weight) deep learning	T/F

머신러닝이란 w값을 조정하면서 학습시키는 것

 

weight란?

A weight is the parameter within a neural network that transforms input data within the network's hidden layer.

 

출처 https://deepai.org/machine-learning-glossary-and-terms/weight-artificial-neural-network#:~:text=What%20is%20Weight%20(Artificial%20Neural,series%20of%20nodes%2C%20or%20neurons.

 

오래된 문제들: 선형회귀 Linear Regression

표본데이터와의 거리 오차를 최소화하는 임의의 선을 그린다.

사람은 직관적으로 선을 긋는다.

하지만 기계는 (0,0) 선부터 그으면서 각 데이터와의 90도 접점의 거리를 계산해가며 좁혀나간다.

1차 함수 모양.

Linear Regression tries to find a linear relationship between the independent and dependent variables by fitting a linear equation. y = wx + b

 

평균에 수렴하는 값 구하기

극한이 일정한 값에 수렴할 때 우리는 미분 가능이라고 합니다.

극한을 취하면 일정한 값으로 수렴하는데 그 일정한 값의 의미가 바로 접선의 기울기.

매끄럽게 그려진 함수만 미분이 가능합니다.

매끄럽게 그려지지 않으면 극한 값이 존재하지 않습니다.

출처 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=edunboy&logNo=150122970674

 

극한

함수 f(x)에서 x가 어떤 값 a에 한없이 가까워짐에 따라 f(x)도 어떤 값 b에 한없이 가까워질 때, b를 f(x)의 극한값이라고 한다.

 

오래된 문제 : 분류 classification (logistic regression)

XOR 연산 퍼셉트론

⚪️	⚫️
⚪️	⚪️

이건 금방 분류

⚪️	⚫️
⚫️	⚪️

이게 문제, 다층 퍼셉트론 multilayer perceptron

문제가 어려울수록 다차원 모델이 동원된다.

 

머신러닝

머신러닝	딥러닝
인간이 학습에 관여	인간조차 답을 모르는 어려운 문제를 머신 스스로 특징을 찾고 학습

 

지도 학습 Supervised Learning	w값 조정하면서 학습 타겟 레이블 label 존재
비지도 학습 Unsupervised Learning	정답 없음 ex) 고객 클러스터
강화 학습 Reinforcement Learning	답이 계속 변하는 문제 보상이 필요 ex) 자율주행
메타 러닝 Meta Learning	Learn to learn Generative Adversarial Networks 최소한의 학습 Few-shot learning ex) 얼굴인식 잠금해제

 

AI 비즈니스에 필요한 것 : 인력

DevOps(MLOps)

적합한 AI 모델

엄청난 양의 데이터 (정제된 데이터셋)

서버 컴퓨테이션 퍼포먼스

 

AI 모델 개발은 전체 서비스 개발의 5% 정도 밖에 안 된다

산업군의 버티컬 데이터가 중요하다

 

수직시장이란

비슷한 방법을 사용하여 비슷한 제품이나 서비스들을 개발하는 특정 산업이나 기업들의 그룹을 말한다.

 

스타트업의 흥망

2016~2018 블록체인

2020~ 

 

블록체인 스타트업 열풍

(CTO님은 비즈니스가 결여되고 학술적으로만 접근한 것을 문제로 보고 계셨음)

<This is why most blockchain startups fail>
(..) the need to pinpoint a SPECIFIC business challenge first, then focus on the solusion second.
(..) investors crippled with FOMO(Fear Of Missing Out) enabled this trend of taking "solution first, business challenge second" method.

출처 https://medium.com/blockchain-review/the-backward-thinking-business-approach-killing-blockchain-crypto-startups-26009b915190

 

커머스 분야에서 AI 서비스 도입할 때 메리트

- 인력베이스 사업 (MD, 기획 등)

- 양질의 정제된 데이터가 서버에 있음 (ex: 구매 기록 등)

- 구매자의 선호에 대한 문제라 결과값에 관대

- 다양한 데이터 활용 가능 (클릭로그, 회원정보, 상품정보 등)

 

커머스 분야에서 AI 활용할 수 있는 서비스/기능

- 추천

- 상품특징추출 : 상품에 대한 description을 현재는 담당 MD가 직접 기술

- 검색 : 이미지 검색, 자연어 검색

- 물류

- CS : 챗봇

- 이상징후탐지 : 매장 카메라로 고객 동태 관찰

 

AI 활용한 기능 예시 1)

기획전을 AI가 구성하도록.

MD와 기획자들이 투입되서 상품 배치하는 과정의 인력을 줄일 수 있다.

알리 익스프레스는 AI가 상품기획전 기획함.

 

AI 활용한 기능 예시 2)

추천 기능을 제공하기 위해서 고객사 쇼핑몰에서 한달치 로그를 제공받아서 학습시킴.

 

AI 활용한 기능 예시 3)

인스타그램 셀럽을 선정해서 이미지에서 fashion 정보 추출, 유사 이미지 찾기 위한 모집단으로 설정.

 

인스타그램 크롤링 프로젝트해보고 알게 된 것들

- 인스타그램의 레거시 open api는 비활성화됨. api로 자기 feed 정보는 가져올 수 있지만 다른 계정은 x

- 인스타그램 이미지 url은 해시가 있어서 업데이트 시키기 위해 같은 이미지 파일을 식별할 수 있는 값을 추출해야 한다.

- html 문서의 클래스 네임이 주기적으로 바뀜

- userAgent 값이 PC냐 모바일웹이냐에 따라서 html 구조가 바뀜

 

크롤링한 데이터로 서비스 가능?

데이터 수집용 크롤링은 합법이라고 한다

크롤링한 데이터 출처도 표기해야 한다

 

하지만 서버에 부하걸릴 정도로 돌리면 영업방해로 제재 대상

 

AI 솔루션에 있어서 개발부가 할 일

- 크롤링 로직 개선 : 차단당하지 않는 행동패턴

- 데이터 관리 : 크롤링한 데이터 중 유효한 데이터만 남기고 삭제, 수집 룰 정하기

- 여러 사이트에서 크롤링한 상품 정보들의 공통 테이블 정의

 

참고 사이트

- alphacode.deepmind.com

- huggingface.co