[메모] <Build With AI United 2024> 후기

일시: 2024년 04월 27일 (토)
장소: 강남 SC 컨벤션 센터
주최: GDG Cloud KR

 

점심 전에 진행되는 세션 2개만 들었다.

그동안 갔던 GDG 행사 중에 강연장이 가장 컸던 것 같다.

GDG United = GDG Cloud KR + GDG Golang Korea + GDG Pangyo 이거 맞나요?

핸즈온이 아닌 세션은 이런 대형강연장에서 진행

---

<1M 토큰 윈도우로는 무엇을 할 수 있을까? Gemini Pro 1.5의 등장과 새로운 가능성 - 신정규>

 

- 컨텍스트 윈도우가 커지면 장점들

in-context learning이 가능해짐.

모델을 기억시키기 위한 기술을 도입할 필요가 없어진다.

파인튜닝할 필요가 없어진다 -> 프롬프팅 엔지니어링 품으로 대체됨

 

- 파인튜닝을 없앴을 때, 서비스적인 장점들

LLM과 어플리케이션을 더 잘 분리할 수 있음

강력하고 거대한 LLM이 하나 나오면, 더 이상 손 댈 필요가 사라짐.

 

- 단, SPOF Single Point of Failure로 작용할 수도 있다.

거대 언어모델의 헛소리 한 번으로 전체 스택이 망가질수도.

 

- 컨텍스트 윈도우가 커질 때 활용처1

전체 컨텍스트를 참고해야 하는 프롬프팅. (RAG로는 어려움)

 

- 컨텍스트 윈도우가 커질 때 활용처2

영상 요약

 

- 사라질 기술들

AI의 기억력에 대한 기술 (RAG)

AI의 개인화 및 특성화 관련 기술

 

- 궁금증: MemGPT라는 걸 Build With AI in Songdo 행사에서 들어봤는데, 이런 식의 기술도 무마될까?

서비스하면서 기하급수적으로 쌓이는 데이터 전부가 하나의 컨텍스트 윈도우로 커버가 된다는 건가?

이력을 관리할 기억장치가 필요한 것은 아닐까..? OS처럼..?

 

- 등장할 기술들

멀티 에이전트 최적화 기술

모델 배포 및 실시간 테스트

스케일링

모델 종류

 

- 찾아보기: LLM 배포하는 기술들

Gradio라는 걸로 프롬프트를 빠르게 배포한 것도 봤고, Google Cloud를 활용할 수도 있을 것 같다.

---

<Advanced prompt technique to reduce hallucination - 한성민>

Langchain 파이썬 패키지로 Verification Filter를 설정하는 법과 grounding이라는 것을 배웠다.

랭체인을 활용한 코드를 직접 받아볼 수 있어서 유익했다.

 

- Gemini는 PaLM을 잇는 차세대 멀티모달 생성모델.

 

- Gemini 플랜이 Ultra, Pro, Nano로 나뉨.

API 호출 및 엣지 디바이스에 따라.

 

- 유스케이스에 맞게 쓰기.

gemini lab : 제너럴 유저

vertex ai : 클라우드 제품 (기업대상)

gemini AI studio - 빠르게 프로토타이핑하고 개발할 때

 

- 궁금증: 매개변수 Parameter와 컨텍스트 윈도우 Context Window는 무슨 차이?

예를 들어 Llama3 70B Instruct 모델의 매개변수는 700억인데 컨텍스트 윈도우는 8천 밖에 안 된다.

검색하다가 용어들을 정리한 글을 발견했다. 출처

Parameters: Complexity and Performance Indicators of the Model
매개변수는 모델의 성능과 복잡도를 나타내는 지표.

Context Window: The Range of Information Capture
컨텍스트 윈도우는 모델이 답변을 생성할 때 고려하는 토큰의 개수.

 

- Transformer 모델을 기반으로 만들어진 LLM은 결국 확률에 기반한 조절기.

Attention Mechanism은 다음에 올 Token을 예측한다. (가중치에 따라서)

 

- Hallucination을 잡기 위해서는,

validation prompt, verification 스텝을 설정해야 한다.

 

-user input + prompt template -> LLM 
verification template + reference documentation -> LLM

 

- reference documentation 제공하는 샘플코드 참고하면서 진행.

reference까지 제공할 때 LangChain 패키지를 써서 포맷팅.

prompt chaining 기술

 

- google search grounding

reference documentation 링크를 일일히 입력할 수 없기 때문에 검색.

RAG의 반대 개념이라고 할 수 있다.

 

- google search grounding best practice 검색해보기.
밑에 꼭 근거를 인용하도록 각각의 링크를 다 연결시킨다.

 

- data builder로 db연결을 할 수도 있음.

 

- Red Team : AI 프롬프트에 개인정보나 민감한 정보가 노출됐는지 취약점 찾기.

 

- 세션 마무리

발전된 LLM은 과거에 축적된 지식에 강하면서 신규 데이터에도 강건해야 할 것.

그리고 신규 데이터는 검색 엔진에서 가져오는 것 만한 게 없음.

검색 엔진으로부터 데이터를 검증해서 hallucination에 대응하는 것이 핵심이 될 것.