Перейти к содержанию
Pylot.me
Парсинг сайтов (часть 2)
Инициализация поиска
Главная
Статьи
Ступень 1
Ступень 2
Ступень 3
Ступень 4
Вебинары
Pylot.me
Главная
Главная
О сайте
Контакты
Вводное слово
Поддержка проекта
Бесплатные курсы
Статьи
Статьи
Статьи
Архив
Архив
2022
Категории
Категории
Python
Интервью
Ступень 1
Ступень 1
Содержание
Введение
Введение
Добро пожаловать
Как устроен курс и обучение
Чат для студентов
Как учиться
Программирование — это ремесло
Что значит быть программистом
Программа курса
Программа курса
О чем будет курс
Запуск кода в тренажере
Что такое программа и запуск Python в режиме калькулятора
Интерактивный режим Python и арифметические операции
Базовые типы — числа и логический тип
Базовые типы — числа и логический тип
Переменные и типы
Использование переменных
Вывод с помощью print
Числа
Числовые типы и операторы
Библиотеки для работы с числами math и random
Бинарные числа
Логический тип
Оператор сравнения и переменные в памяти
Строки и операторы
Строки и операторы
Тип str — строки и срезы
Срезы, работа с частями строк
Вывод строк
Бонус лекция: специальные символы
Методы строки
Выстраивание методов в цепочку
Форматирование строк
Операторы
Коллекции
Коллекции
Списки (list) и срезы
Сортировки списков
Кортежи (tuple) и оператор вхождения in
Множества (set)
Операторы для работы со множествами
Словари (dict)
Конструкторы множеств
Блоки инструкций
Блоки инструкций
Комментарии в коде
Синтаксис языка
Оператор ветвления if, elif, else
Циклы for
Циклы while
Управление выполнением циклов
Файлы
Файлы
Введение в работу с файлами
Открытие и создание файла
Перемещение по файлу
Работа с текстовыми файлами
Форматы файлов
Работа с JSON файлами
Функции
Функции
Создание своей функции
Вызов функций другого модуля
Классы
Классы
Синтаксис классов
Создание экземпляра класса
Методы класса
Подготовка компьютера и локального окружения
Подготовка компьютера и локального окружения
Выбор редактора кода
Установка Python на macOS
Установка Python на Windows
Подготовка к финальному проекту
Подготовка к финальному проекту
Создание виртуального окружения
Регистрация бота через @BotFather
Первые шаги написания телеграм бота
Написание библиотеки для преобразования текста в звук
Функция подготовки ответов на полученные сообщения
Отправка голосового ответа
Дополнительная обработка звука и финализация проекта
Чек-лист нового проекта (уровень 1)
Создание портфолио
Создание портфолио
Регистрация на Github
Публикация кода на Github
Написание бота
Написание бота
Сдача проекта
Завершение ступени
Завершение ступени
Сдача проекта
Ступень 2
Ступень 2
Содержание
Введение
Введение
Введение: добро пожаловать
Введение: описание курса
Итераторы и генераторы
Итераторы и генераторы
Итераторы и функция next()
Генераторы и ключевое слово yield
Генераторное выражение
Использование генераторов
Функции для работы с последовательностями
Расширенные блоки инструкций
Расширенные блоки инструкций
Дополнительные возможности циклов
Управление работой циклов
Исключения и иерархия исключений
Файлы
Файлы
Оператор контекста with
Работа с файлами с помощью библиотеки pathlib
CSV файлы
Чтение CSV файла с помощью библиотеки csv
Функции и модули
Функции и модули
Создание своей функции
Аргументы функции
Расширенные аргументы функции
Возвращение функции
Декораторы
Особенности создания обертки вокруг функции
Анонимная функция lambda
Структурирование кода с помощью модулей
Классы и ООП
Классы и ООП
Конструктор и методы класса
Наследование
Алгоритм поиска методов (MRO)
Сложные последовательности методов
Модули
Модули
Что такое зависимости и модули и как они работают
Установка пакетов
Менеджер пакетов pip и файл requirements.txt
Настройка виртуального окружения
Знакомство с сайтами популярных проектов
Введение в HTML
Введение в HTML
Введение в HTML
HTML элементы
Базовые теги
Тег img и атрибуты тегов
Распространенные HTML теги
Работа с деревом документа в браузере
Создание страницы с помощью Bootstrap
Парсинг сайтов
Парсинг сайтов
О парсинге сайтов
HTTP протокол и методы доступа
Получение кода страницы
Написание парсера страниц
Извлечение данных из страницы и реальные задачи
Финальный проект ступени
Финальный проект ступени
Разбор библиотеки requests и создание виртуального окружения
Добавляем beautifulsoup в проект и создание readme.md
Задания от заказчиков
Разбор "технического задания"
Планирование работы проекта
Чек-лист проекта (уровень 2)
Публикация проекта в портфолио на Github
Самостоятельная работа: написание парсера сайта с помощью requests и beautifulsoup
Завершение ступени
Завершение ступени
Сдача проекта
Ступень 3
Ступень 3
Содержание
Введение
Введение
Добро пожаловать на третью ступень
Интроспекция
Интроспекция
Что такое интроспекция
Помощники интроспекции
Память в Python
Память в Python
Как хранятся переменные в памяти процесса
Сборщик мусора и подсчет количества ссылок
Пространство имен, области видимости переменных и инструменты изменения доступа к ним
Отладка кода
Отладка кода
Отладка кода в IDE
Отладка кода с помощью pdb
Автоматизация проверки кода
Автоматизация проверки кода
Автоматическая проверка кода с помощью pylint
Автоматичское форматирование кода с помощью black
make и Makefile
Обновленный чеклист запуска нового проекта (уровень 3)
Как работает интернет
Как работает интернет
Сетевые модели OSI и TCP/IP
Внутренний и внешний IP адрес
Что такое порт
Как работает DNS
Что такое сервер
HTTP протокол
Веб фреймворк Flask
Веб фреймворк Flask
Зачем нужны веб-фреймворки
Создание первого сайта на Flask
Запуск проекта в IDE
Добавление шаблона главной страницы
Создание карты адресов
Создание видов (view) и путей к ним (route)
Создание кода страниц
Добавление статики
Язык шаблонов Jinja
Язык шаблонов Jinja
Введение в шаблоны
Взаимодействие шаблонов
Расширение возможностей шаблонов
Работа над сайтом и шаблонами
Работа над сайтом и шаблонами
Настройка IDE для поддержки Jinja файлов
Анализ HTML файлов
Подготовка базового шаблона base.html и header.html
Добавление footer.html
Объединение всех частей в base.html
Страницы about.html и contacts.html
Введение в базы данных
Введение в базы данных
Введение в базы данных
Реляционные базы и SQL
Язык запросов SQL
CRUD операции с данными
Работа с клиентом sqlite3
Управление полученными данными и агрегирующие функции
Связи между таблицами
Первичные ключи
Дальнейшее изучение SQL
Flask Framework
Flask Framework
Сравнение фреймворков
Обзор Flask
Внутренние части Flask, контексты приложения и запроса
Расширения Flask
Создание блога с помощью Flask и SQLite
Создание блога с помощью Flask и SQLite
Создание основы приложения
Подготовка проекта и добавление статики
Создание Makefile и первый запуск проекта
Создание базовой структуры видов (view)
Создание base.html на основе стилей Bootstrap
Добавление страницы "Об авторе" и "Контакты"
Страница для входа и использование формы
Реализация входа пользователя login view
Реализация выхода logout view
Главная страница со списком последних записей feed view
Реализация уведомлений пользователя с помощью flash
Форма добавления новой записи post form
Сохранение новой записи в базу new post view
Решение проблемы с типом возвращаемого объекта из базы, row_factory
Страница просмотра записи post view
Редактирование записи
Финальный проект
Финальный проект
Описание проекта
Самостоятельная работа
Завершение ступени
Завершение ступени
Сдача проекта
Ступень 4
Ступень 4
Содержание
Введение
Введение
Добро пожаловать на четвертую ступень
Магические методы и протоколы
Магические методы и протоколы
Магические методы и протоколы
Магические методы для интроспекции
Магические методы множеств
Математические методы
Создание вызываемого типа и менеджеры контекста
Другие магические методы
Расширенные возможности ООП
Расширенные возможности ООП
Особые типы методов класса staticmethod и classmethod
Методы установки и чтения свойств, геттеры и сеттеры (setter и getter)
Декоратор @property
Шпаргалка по классам
Шпаргалка по протоколам
Работа с базой данных с помощью SQLAlchemy
Работа с базой данных с помощью SQLAlchemy
Проблема работы с базой данных напрямую
REST API
REST API
Что такое API и как с ним работать
Что такое REST API
Что такое JSON
Специализация HTTP методов
Как работает API клиент
Читаем документацию по API
Создаем API клиент для сайта
Создаем API клиент для сайта
Получение токена и отправка запросов
Обработка и хранение результатов
Виды взаимодействия с API
Виды взаимодействия с API
Что такое webhook, еще один способ API взаимодействия
Telegram бот через webhook'и
Задание: написать бот сообщающий о погоде с использованием внешнего API
Сдача проекта
Введение в тестирование
Введение в тестирование
Что такое тестирование
Создание первых тестов
Подготовка условий для запуска тестов
Показатель покрытия тестами
Написание тестов для телеграм бота
Что такое мок тесты и как правильно покрывать тестами внешнее взаимодействие
Задание: покрыть тестами телеграм бот
Аннотирование кода
Аннотирование кода
Зачем нужна типизация
Аннотация простых типов
Модуль typing
Автоматизация проверки типов с помощью инструментов mypy и pyre
Организация совместной работы в командах
Организация совместной работы в командах
Какие проблемы решает Git
Как организована совместная работа в Gitlab
Как отправить изменения в проект
Что такое code review
Что такое merge и pull request
Совместная работа с проектами с помощью Gitflow
Что такое CI/CD и как автоматизация может улучшить качество совместной работы
Подготовка резюме
Подготовка резюме
Составление резюме
Публикация резюме и сбор отзывов
Что должно вызывать подозрение при поиске работы
Юридическая часть совместной работы: договор, NDA
Интеллектуальная собственность на код
Первый день в компании: получение учетных записей, роли, консультанты по карьере
SDLC цикл разработки программного обеспечения
SDLC цикл разработки программного обеспечения
Гибкие методологии управления проектами
Планирование: сбор требований и постановка задач
Планирование: начало спринта
Работа внутри спринта, зачем нужны стендапы
Принятие и сдача выполненных заданий
Финальный проект
Финальный проект
Покрываем тестами проект
Завершение
Завершение
Развитие карьеры и матрица компетенций
Спасибо!
Вебинары
Вебинары
Содержание
Вебинары
Вебинары
Матрица компетенций (первый разбор)
Как устроен курс, как строить карьеру и как выучить английский язык
Матрица компетенций и разбор вопросов
Построение успешной карьеры специалиста и финансовая независимость
Разбор специализации и области применения разных языков программирования
Как подготовиться к удаленной работе и жизни за границей (2021-08-11)
Договора, лицензии и интеллектуальная собственность
Разбор вопросов от студентов (2021-07-28)
Разбор вопросов студентов (2022-08-24)
Работа с кодом
Работа с кодом
Написание проекта для первой ступени
Разбор студенческого кода бота и вопросы по работе с зависимостями
CSV файлы: чтение, запись и обработка
Разбор вопросов: импортирование модулей и особенности работы с символами
Парсинг сайтов (часть 1)
Парсинг сайтов (часть 2)
Разбор вопросов и проблем в коде студентов
Разбор задач и вопросов студентов, что такое __main__ и интроспекция (2021-09-29)
Самая сложная задача программирования "Как назвать переменную?"
Шаблоны проектирования (2022-05-11)
Работа с файлами (2022-09-07)
Работа с циклами for и while (2022-09-14)
Как работает BeautifulSoup и способы работы с HTML документами (2023-01-25)
Разные аспекты создания сайтов
Разные аспекты создания сайтов
Сбор требований и работа с мокапами при разработке проектов
Регистрация домена и настройка DNS, запуск хостинга
Как безопасно хранить пароли пользователей (2022-06-08)
Финансовые взаимодействия с клиентом (домашнее задание) (2022-07-13)
Разборы студенческих домашних заданий по уроку финансового взаимодействия с клиентом (2022-07-20)
Работа в команде через Gitlab (2022-08-03)
Вопросы по работе с Flask (2022-08-10)
Прохождение собеседований
Прохождение собеседований
Разбор вопросов (2021-10-27)
Разбор тестовых заданий на позицию бэкенд разработчика (2022-03-30)
Разбор задач для собеседования после прохождения учениками первых собеседований (2022-02-16)
Как составить резюме и из каких частей оно состоит, взгляд работодателя (2022-02-02)
Нетехнические вопросы на интервью (2022-08-10)
Базы данных
Базы данных
Введение в базы данных (2022-02-23)
Работа с SQLite из Python (2022-05-25)
Индексы, триггеры и взаимодействие таблиц в базах данных (2022-06-29)
REST API
REST API
Что такое REST API: часть 1 (2022-04-20)
Работа с REST API: часть 2 (2022-04-28)
Рабочее место программиста
Рабочее место программиста
Работа с Git
Работа с Git (углубленный урок)
Типичные проблемы с git у студентов, разбор вопросов (2021-09-22)
Инструменты автоматического контроля качества разработки (2022-08-17)
Работа в команде
Работа в команде
Гибкое управление проектами и жизненный цикл разработки (SDLC)
Совместная работа с кодом (SDLC)
Первый день на работе (2021-09-15)
Другие специализации в команде
Другие специализации в команде
Введение в UX, UI, юзабилити (2023-05-31)
Архитектура приложений (2022-04-13)
Распределение долей в стартапах и как происходит найм с выделением доли программистам (2022-07-06)
Вебинары
Работа с кодом
Парсинг сайтов (часть 2)
К началу