#playground.tensorflow.org https://medium.com/@kyleake/technical-demo-visualize-neural-network-with-tensorflow-playground-9f6a1d8eb57a 뉴럴네트웍을 이해하기 위하여 반드시 알아야 할 주요 용어에 대하여 정리하면서, playground의 사용법을 익혀보자. #Epoch : 임의의 구분(절단). 일반적으로 '전체 데이터셑에 대한 한번의 주기"라고 말한다. 가령 데이터 전체 세트가 10,000개이고 Batch (처리하는 묶음) 사이즈가 10이면, 1000개의 배치를 대상으로 하는 처리 (Iteration)가 반복되어야 한다. 즉 1,000번의 Iteration을 1번의 Epoch이라고 한다. Batch를 기준으로 지속적으로 계수조정 (Gradient Desecent) 작업을 한다.......

https://ratsgo.github.io/nlpbook/docs/language_model/bert_gpt/#:~:text=GPT(Generative%20Pre%2Dtrained%20Transformer,%EB%AA%A8%EB%8D%B8(Language%20Model)%EC%9E%85%EB%8B%88%EB%8B%A4.&text=%EC%9D%B4%20%EB%95%8C%EB%AC%B8%EC%97%90%20GPT%EB%8A%94%20%EB%AC%B8%EC%9E%A5,%EC%9D%84%20%EC%A7%80%EB%8B%8C%20%EA%B2%83%EC%9C%BC%EB%A1%9C%20%EC%95%8C%EB%A0%A4%EC%A0%B8%20%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4. Tranformer Architecture를 기본 뼈대로 하는 학습모델 중에 BERT와 GPT 가 많은 관심을 받고 있다. 근래 GPT의 놀라운 성능과 엄청난 학습 데이터양이 관심을 끌고 있으며, BERT 또한 강력한 기능으로 가장.......

https://ratsgo.github.io/nlpbook/docs/language_model/bert_gpt/#:~:text=GPT(Generative%20Pre%2Dtrained%20Transformer,%EB%AA%A8%EB%8D%B8(Language%20Model)%EC%9E%85%EB%8B%88%EB%8B%A4.&text=%EC%9D%B4%20%EB%95%8C%EB%AC%B8%EC%97%90%20GPT%EB%8A%94%20%EB%AC%B8%EC%9E%A5,%EC%9D%84%20%EC%A7%80%EB%8B%8C%20%EA%B2%83%EC%9C%BC%EB%A1%9C%20%EC%95%8C%EB%A0%A4%EC%A0%B8%20%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4. Tranformer Architecture를 기본 뼈대로 하는 학습모델 중에 BERT와 GPT 가 많은 관심을 받고 있다. 근래 GPT의 놀라운 성능과 엄청난 학습 데이터양이 관심을 끌고 있으며, BERT 또한 강력한 기능으로 가장.......

https://ratsgo.github.io/nlpbook/docs/language_model/bert_gpt/#:~:text=GPT(Generative%20Pre%2Dtrained%20Transformer,%EB%AA%A8%EB%8D%B8(Language%20Model)%EC%9E%85%EB%8B%88%EB%8B%A4.&text=%EC%9D%B4%20%EB%95%8C%EB%AC%B8%EC%97%90%20GPT%EB%8A%94%20%EB%AC%B8%EC%9E%A5,%EC%9D%84%20%EC%A7%80%EB%8B%8C%20%EA%B2%83%EC%9C%BC%EB%A1%9C%20%EC%95%8C%EB%A0%A4%EC%A0%B8%20%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4. Tranformer Architecture를 기본 뼈대로 하는 학습모델 중에 BERT와 GPT 가 많은 관심을 받고 있다. 근래 GPT의 놀라운 성능과 엄청난 학습 데이터양이 관심을 끌고 있으며, BERT 또한 강력한 기능으로 가장.......

https://ratsgo.github.io/nlpbook/docs/language_model/bert_gpt/#:~:text=GPT(Generative%20Pre%2Dtrained%20Transformer,%EB%AA%A8%EB%8D%B8(Language%20Model)%EC%9E%85%EB%8B%88%EB%8B%A4.&text=%EC%9D%B4%20%EB%95%8C%EB%AC%B8%EC%97%90%20GPT%EB%8A%94%20%EB%AC%B8%EC%9E%A5,%EC%9D%84%20%EC%A7%80%EB%8B%8C%20%EA%B2%83%EC%9C%BC%EB%A1%9C%20%EC%95%8C%EB%A0%A4%EC%A0%B8%20%EC%9E%88%EC%8A%B5%EB%8B%88%EB%8B%A4. Tranformer Architecture를 기본 뼈대로 하는 학습모델 중에 BERT와 GPT 가 많은 관심을 받고 있다. 근래 GPT의 놀라운 성능과 엄청난 학습 데이터양이 관심을 끌고 있으며, BERT 또한 강력한 기능으로 가장.......

#ETRI "심층 신경망 기반 대화처리 기술 동향" 참고 #목적지향대화시스템(Goal Oriented Dialog System)의 구현은 Pipeline기반, 종단형, 그리고 강화학습 방식 등으로 연구가 발전되고 있다. Pipeline기반의 목적지향대화시스템은 전통적인 방식으로, "대화 이해, 대화관리, 대화생성" 모듈이 Pipeline 형태로 연결된 구조를 가지고 있다. 사용자의 발화를 받아, 1) 대화이해 모듈은, 사용자의 발화의도와 목적에 해당되는 슬롯(Slot)값들을 예측한다. 즉, 캡슐커피를 주문하는 발화자는 "캡슐커피 1박스 주세요"라고 발화하는 경우에, 이 문장에서 물건{캡슐커피}를 수량(1박스) 주문{주세요}"라고 하.......

#ETRI "심층 신경망 기반 대화처리 기술 동향" 참고 #목적지향대화시스템(Goal Oriented Dialog System)의 구현은 Pipeline기반, 종단형, 그리고 강화학습 방식 등으로 연구가 발전되고 있다. Pipeline기반의 목적지향대화시스템은 전통적인 방식으로, "대화 이해, 대화관리, 대화생성" 모듈이 Pipeline 형태로 연결된 구조를 가지고 있다. 사용자의 발화를 받아, 1) 대화이해 모듈은, 사용자의 발화의도와 목적에 해당되는 슬롯(Slot)값들을 예측한다. 즉, 캡슐커피를 주문하는 발화자는 "캡슐커피 1박스 주세요"라고 발화하는 경우에, 이 문장에서 물건{캡슐커피}를 수량(1박스) 주문{주세요}"라고 하는 의.......

#ETRI "심층 신경망 기반 대화처리 기술 동향" 참고 #목적지향대화시스템(Goal Oriented Dialog System)의 구현은 Pipeline기반, 종단형, 그리고 강화학습 방식 등으로 연구가 발전되고 있다. Pipeline기반의 목적지향대화시스템은 전통적인 방식으로, "대화 이해, 대화관리, 대화생성" 모듈이 Pipeline 형태로 연결된 구조를 가지고 있다. 사용자의 발화를 받아, 1) 대화이해 모듈은, 사용자의 발화의도와 목적에 해당되는 슬롯(Slot)값들을 예측한다. 즉, 캡슐커피를 주문하는 발화자는 "캡슐커피 1박스 주세요"라고 발화하는 경우에, 이 문장에서 물건{캡슐커피}를 수량(1박스) 주문{주세요}"라고 하는 의.......