이상적인 프롬프트 구조 프롬프트의 모든 요소를 개행 문자로 끝나도록 강제하면 문자열 처리 코드를 단순하게 만들 수 있다. 샌드위치 기법: 프롬프트 첫 부분에 도입부를 넣고 마지막 부분에 초점 재설정을 넣는다. 도입부: 작성할 문서의 유형을 명확하게 하고 보델이 이후 콘텐츠에 올바른 방향으로 접근할 수 있도록 준비하는 역할 초점 재설정: 모델에게 주요 질문을 상기 시키는 역할 이유: 모든 LLM은 인-콘텍스트 학습과 중간 부분 상실 현상의 영향을 받기 때문이다. 인-콘텍스트 학습: 프롬프트에서 정보가 끝부분에 위치할수록 모델에 더 큰 영향을 미친다....
LLM 이전의 추천 시스템은 일반적으로 협업 필터링(collaborative filtering) 같은 수학적 접근법을 사용했다. 협업 필터링: 사용자의 사용 패턴을 다른 모든 사용자의 사용 패턴과 비교해 추천을 도출한다. LLM을 사용한다면 사용 패턴뿐만아니라 사용자의 인구통계학적 정보, 도서 외 관심사, 최근 경험 등의 정보를 정돈되지 않은 텍스트 데이터로 제공한다. 콘텐츠 출처 정적 콘텐츠: 항상 동일한 정보 예시: 다음에 어떤 책을 읽으면 좋을까? 재미로 읽을 만한 책을 말하는 거야, 교과서 같은 것 말고. 동적 컨텐츠: 질문 대상에 대한 맥락, 즉 무엇에 대해 묻고 있는지에 대한 세부 정보를 제공한다....
루프 구조 루프: 사용자 도메인과 모델 도메인 간의 변환 사용자 문제를 받아서 모델이 완성해야 할 문서나 대화기록 으로 바꿔준다. 모델이 응답을 생성하면 루프는 모델의 결과를 사용자 문제에 대한 해결책의 형태로 사용자 도메인에 반환한다. 루프는 한 번만 도는 경우도, 연달아 여러 차례 실행되는 경우도 있다. 사용자 문제 사용자 문제 도메인에 포함되는 내용 문제가 전달되는 매체: LLM에서는 텍스트가 가장 자연스럽다. 추상화 수준: 추상화 수준이 높을수록 더 복잡한 추론이 필요하다. 필요한 맥락 정보: 대부분의 도메인에서는 사용자가 제공하는 정보 외에도 추가 정보를 검색해야 한다....
LLM 기본 모델은 애플리케이션 설정에 사용하기 어렵다. 이유1: 인터넷상의 임의의 문서로 학습했기 때문에 기본 모델은 인터넷의 밝은 면과 어두운 면을 모두 모방할 수 있다. 이유2: 기본 모델은 문서 완성만 할 수 있다. 우리는 종종 LLM이 어시스턴트 역할도 하고, 파이썬 코드도 자실행하며, 검색해서 반영하고, 외부 도구를 실행할 수 있기를 바란다. 이유3: 사용자가 LLM을 맞춤 설정할 수 있게하고 싶은 경우도 있다. 인간 피드백을 통한 강화학습 인간 피드백을 통한 강화학습(reinforcement learning from human feedback, RLHF): 인간의 선호도를 사용해서 LLM의 동작을 조정하는 LLM 학습 기법 모델 정렬: 사용자 기대와 더 부합하는 생성 결과를 만들기 위해 모델을 파인튜닝하는 절차....
LLM은 무엇인가? LLM: 텍스트를 입력하면 텍스트가 출력되는 서비스 LLM은 학습 데이터셋이라고 하는 방대한 문서를 활용해 훈련한다. 학습 데이터셋에서 모델은 학습 데이터셋과 유사해 보이는 출력을 생성하는 방법을 배워야 한다. 과적합: 모델이 학습 데이터셋의 패턴을 학습하는 대신 문장 덩어리르 암기하는 것 문장 자동 완성 학습 데이터를 잘 알수록 그 학습 데이터에서 학습된 LLM이 어떤 결과를 만들어낼 가능성이 높은지에 대한 직관이 좋아진다. 인간 사고 vs LLM 처리 사람은 LLM과 달리 텍스트를 만들어낼 때 단지 그러릇해 보이는 문장을 만드는 것 이상의 과정을 거친다....
LLM은 단순히 한 텍스트 블록의 다음에 올 단어를 예측하는 모델일 뿐이다. 따라서 LLM은 단순히 사용자가 어떤 작업을 수행하는 데 도움이 되는 도구일 뿐이며 이러한 도구와 상호작용하는 방법은 사용자가 완성해야 할 텍스트 블록, 즉 프롬르트를 만드는 것이다. 언어 모델: 어쩌다 우리가 여기까지 왔지? 초기 언어 모델 최초로 소개된 언어 모델: 마르코프 모델 2014년까지 가장 강력한 언어 모델은 구글에서 소개한 seq2seq 아키텍처에 기반한다. 아키텍처: 인코더와 디코더 두 컴포넌트로 구성된다. 토큰 스트림을 인코더로 전송하면, 인코더는 입력 시퀀스의 정보를 축적하는 숨겨진 상태벡터를 업데이트한다....