06046414 : NATURAL LANGUAGE PROCESSING WITH DEEP LEARNING

รหัสวิชา (Subject ID) 06046414
ชื่อวิชา การประมวลผลภาษาธรรมชาติด้วยการเรียนรู้เชิงลึก
Subject name NATURAL LANGUAGE PROCESSING WITH DEEP LEARNING
วิชาบังคับก่อน (Prerequisite) ไม่มี

รายละเอียดวิชา

แบบจำลองภาษาและโครงข่ายประสาทเทียมเชิงลึก การแทนความหมายแบบกระจายและการแทนคำด้วยเวกเตอร์ การลดขนาดมิติด้วยเทคนิค SVD และ การแยกส่วนประกอบเมตริกซ์ การประมวลผลภาษาเชิงโครงข่ายประสาทเทียม แบบจำลองเข้ารหัสถอดรหัส การตัดโทเคนขั้นสูง แบบจำลองแบบเรียงลำดับ ทรานฟอร์มเมอร์และกลไกความสนใจ การถามตอบและการแปลภาษาโดยใช้ทรานฟอร์เมอร์ งานประยุกต์ด้านการประมวลผลภาษาด้วยการเรียนรู้เชิงลึก

Language model and deep neural network; distributional semantics and word embeddings representation, matrix factorization and single value decomposition (SVD) for dimensional reduction; neural natural language processing, encoder-decoder models, advanced tokenization, Seq2Seq models, transformer and attention mechanism; question answering and machine translation using transformer; applications of NLP with deep learning