Сделай сам
Введение
В этой статье мы собрали топ полезных YouTube-каналов, за которыми активно следим уже несколько лет. А также добавили ссылки на интересные видео по реализации архитектуры с нуля. Большая их часть посвящена трансформерам. Если вы хотите глубже разобраться с этой темой — есть отличная возможность самостоятельно сделать архитектуру с помощью нашей подборки.
Умение имплементировать результаты статьи обычно полезно на практике. Но для его успешной реализации сначала можно посмотреть на то, как это делают другие 🙂
Список каналов
Контент: туториалы с объяснением теории и кода, больше NLP и CV
Автор: преподаватель в университете Австралии с PhD в области машинного обучения
Количество подписчиков: 2.5к
Частота выхода видео: 1 раз в неделю
Имплементации архитектур:
- Image Captioning, Classify Text
- Creating an Encoder-Decoder Transformer, Implementing the Attention Mechanism
- Sequence Processing, Building a Text Generator with LSTM
- Generative Diffusion, GANs
- U-net Image Segmentation, Simple Object Detection
Контент: подкасты, разборы статей и kaggle решений, имплементация архитектур, туториалы по инструментам типа docker
Автор: ML-инженер из Швеции
Количество подписчиков: 78к
Частота выхода видео: 1 раз в месяц
Имплементации архитектур:
GAN:
- Плейлист с отдельными разборами статей
- Building our first simple GAN
- DCGAN, WGAN, CycleGAN, ProGAN, SRGAN implementations
- Pytorch Conditional GAN, Image Segmentation
- Pix2Pix, ESRGAN, Pytorch ResNet implementations
Detection:
- Yolov1
- Yolov3
- Плейлист «Seq2seq Attantion is all you need»
- Pytorch Seq2Seq, Pytorch Seq2Seq with Attention
- Pytorch Transformers from Scratch, for Machine Translation
Контент: разбор архитектур с хорошими визуальными примерами и их имплементация; канал существует давно — тем разобрано там немало
Автор: ML-инженер
Количество подписчиков: 125к
Частота выхода видео: 2 раза в месяц
Имплементации с нуля:
- Плейлист «Transformers from scratch»
- Self Attention, Multi Head Attention, Positional Encoding, Layer Normalization in TNN
- Transformer Decoder, Transformer Encoder in 100 lines of code
- Sentence Tokenization in Transformer Code
- Transformer Neural Network Code in 300 lines
Контент: классная видео-визуализация идей с объяснением LoRA, UMAP и графовых нейронных сетей (GNN)
Автор: Data Science Enthusiast
Количество подписчиков: 32к
Частота выхода видео: 1 раз в месяц
Имплементации с нуля:
Канал «StatQuest with Josh Starmer»
Контент: очень популярный канал, где всё разобрано с подробными визуализациями и примерами (от основ статистики, классического ML и до трансформеров). Интересная подача с песнями и маскотами 🙂 Triple Bam!
Автор: Josh Starmer
Количество подписчиков: 1,22 млн
Частота выхода видео: 2 раза в месяц
Имплементации с нуля:
Контент: практика с топовым ресерчером, живой легендой (в основном видео про LLM и Stable Diffusion)
Автор не нуждается в представлении 🙂
Количество подписчиков: 527к
Частота выхода видео: 1 раз в 3 месяца, но зато какие!
Имплементации с нуля:
- Плейлист «Neural Networks: Zero to Hero»
- Let’s build GPT, GPT Tokenizer, GPT-2
- The spelled-out intro to neural networks and backpropagation: building micrograd
- The spelled-out intro to language modeling: part 1, part 2, part 3, part 4, part 5
Контент: туториалы по деплойменту, реализации трансформеров
Автор: ML-инженер из Швейцарии
Количество подписчиков: 7к
Частота выхода видео: не выпускает 9 месяцев, но есть очень хорошие видео
Имплементации с нуля:
Автор: ML-инженер из Италии
Контент: разбор статей, имплементация популярных архитектур и их составляющих (Stable Diffusion, LLM и др.)
Количество подписчиков: 38к
Частота выхода видео: 1 раз в месяц
Имплементации с нуля:
- Multimodal (Vision) Language Model
- Stable Diffusion
- LLaMA2
- Coding a Transformer
- Post-Training Quantization, Quantization-Aware Training
Заключение
Ещё один всегда хороший, но менее простой вариант — изучать исходники библиотек, таких как PyTorch.
Надеемся, что наша подборка будет вам полезна 🙂
Напишите в комментариях, нашли ли вы архитектуру, которую бы хотели имплементировать. А если не нашли — поделитесь, какие архитектуры хотели бы изучить на практике 😊
