毎週水曜日更新中!
…
continue reading
Sisällön tarjoaa Hajime Morrita , Jun Mukai. Hajime Morrita , Jun Mukai tai sen podcast-alustan kumppani lataa ja toimittaa kaiken podcast-sisällön, mukaan lukien jaksot, grafiikat ja podcast-kuvaukset. Jos uskot jonkun käyttävän tekijänoikeudella suojattua teostasi ilman lupaasi, voit seurata tässä https://fi.player.fm/legal kuvattua prosessia.
Player FM - Podcast-sovellus
Siirry offline-tilaan Player FM avulla!
Siirry offline-tilaan Player FM avulla!
#111: Formal Algorithms for Transformers
MP3•Jakson koti
Manage episode 359821334 series 2151064
Sisällön tarjoaa Hajime Morrita , Jun Mukai. Hajime Morrita , Jun Mukai tai sen podcast-alustan kumppani lataa ja toimittaa kaiken podcast-sisällön, mukaan lukien jaksot, grafiikat ja podcast-kuvaukset. Jos uskot jonkun käyttävän tekijänoikeudella suojattua teostasi ilman lupaasi, voit seurata tässä https://fi.player.fm/legal kuvattua prosessia.
勤務先への脅威に怯える森田が Transformer を復習しました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。
今回は録音に際し Adobe Podcast (beta) のバグを引き当ててしまい、向井と森田の音声トラックがずれてしまいました。ごめんなさい。次回からは non-beta の手堅いツールで録音しようと思います・・・。
- [2207.09238] Formal Algorithms for Transformers
- #15 – Neural Machine Translation by Jointly Learning to Align and Translate
- #38 – Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
- #51 – Attention Is All You Need
- #53 – BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Jay Alammar – YouTube
- GitHub – openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI’s models.
- GitHub – karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs.
- Let’s build GPT: from scratch, in code, spelled out. – YouTube
143 jaksoa
MP3•Jakson koti
Manage episode 359821334 series 2151064
Sisällön tarjoaa Hajime Morrita , Jun Mukai. Hajime Morrita , Jun Mukai tai sen podcast-alustan kumppani lataa ja toimittaa kaiken podcast-sisällön, mukaan lukien jaksot, grafiikat ja podcast-kuvaukset. Jos uskot jonkun käyttävän tekijänoikeudella suojattua teostasi ilman lupaasi, voit seurata tässä https://fi.player.fm/legal kuvattua prosessia.
勤務先への脅威に怯える森田が Transformer を復習しました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。
今回は録音に際し Adobe Podcast (beta) のバグを引き当ててしまい、向井と森田の音声トラックがずれてしまいました。ごめんなさい。次回からは non-beta の手堅いツールで録音しようと思います・・・。
- [2207.09238] Formal Algorithms for Transformers
- #15 – Neural Machine Translation by Jointly Learning to Align and Translate
- #38 – Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
- #51 – Attention Is All You Need
- #53 – BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Jay Alammar – YouTube
- GitHub – openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI’s models.
- GitHub – karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs.
- Let’s build GPT: from scratch, in code, spelled out. – YouTube
143 jaksoa
सभी एपिसोड
×Tervetuloa Player FM:n!
Player FM skannaa verkkoa löytääkseen korkealaatuisia podcasteja, joista voit nauttia juuri nyt. Se on paras podcast-sovellus ja toimii Androidilla, iPhonela, ja verkossa. Rekisteröidy sykronoidaksesi tilaukset laitteiden välillä.