Денис Радченко

Как я за день собрал пайплайн для сбора и фильтрации новостей

2025-12-31T22:03:28.840Z

Хаос в городских новостях

У меня есть хобби – я веду телеграмм канал, в котором публикую новости про транспорт и общественный транспорт Чебоксар и Чувашии. Для этого я собираю новости с сайтов администрации города, республиканских министерств, СМИ и региональных сайтов, пабликов в VK и Telegram.

Со временем источников стало много, количество новостей стало зашкаливать, где-то 200-250 сообщений в день, из которых нужно было выискивать 3-4 новости. Это занимало 10 минут в день, но самые "неприятные" 10 минут, которые я старался отложить на потом. Эту рутину я и решил автоматизировать, сначала написал небольшой скрипт на PHP, а теперь написал пайплайн на Prefect, который собирает новости из разных источников, фильтрует их через стоп слова и LLM, а результат публикует в закрытый паблик Telegram, где я их читаю.

Информация по запуску пайплайна в Prefect

Почему нужно публиковать в Telegram, а не делать email рассылку или RSS ? Telegram есть на каждом компьютере, в каждом телефоне, не нужно отдельно запускать приложение. Читать может несколько человек, очень простой API, быстро интегрируется.

Сразу скажу, что я не делал коробочное решение для всех, а быстро сделал инструмент для себя. Я не стал тратить время на класстеризацию новостей, группировку похожих новостей с помощью embeddings и Vector DB. Самую муторную часть, первичную фильтрацию, я переложил на LLM. Всё остальное оставил себе.

Новости в основном состоят из политических заявлений, отчеты чиновников ("Глава республики обратился к депутатам") и новости, которые хоть и формально связаны с транспортом, но не касаются его по смыслу ("Глава города выступил перед работниками Чувашского транспортного управления"). Вторая проблема - дубликаты, когда разные источники публикуют одну новость по 3-4 раза. С дубликатами я пока не боролся.

Изначально у меня был скрипт на 100 строк кода, но каждое новое улучшение существенно усложняло код, и я решил сделать пайплайн на основе Prefect. Получился полноценный ETL, с concurency выполнением запросов, retry и просмотром логов через Web UI, не нужно по SSH читать логи.

Пришлось подбирать rate limit для запросов VK API, чтобы читать паблики, делать запросы в LLM батчами. Отдельная боль в том, что сайты госучреждений грузятся только из России, а ChatGPT не работают в России. Но выход нашелся, OpenRouter работает из России.

Как я использую prefilter ? С помощью ключевых стоп слов можно легко убрать ненужные новости, касательно политики ("урок управления FPV-дронами") или ДТП без связи с инфраструктурой ("автомобиль сбил корову"). Это помогает снизить шум в новостях.

Одного флага keep: true / false оказалось недостаточно. Я сохраняю reason, краткое объяснение, почему модель приняла то или иное решение. Это не лог ради лога: со временем по этим причинам можно анализировать типовые ошибки, видеть, в каких случаях промпт работает плохо, и калибровать фильтр уже на реальных данных, а не на ощущениях. Дополнительно все посты раскладываются по bucket’ам: A — точно подходят, B — скорее всего подходят, C — не подходят. Это позволяет не сводить всё к бинарному решению и использовать результаты гибко: например, публиковать A и B в разных комбинациях — в Telegram или в отдельные RSS-ленты с разной «жёсткостью» фильтрации.

Так-же я хочу добавить обратную связь в Telegram паблик с готовыми новостями: я ставлю реакции на посты 👍 или 👎. Потом эти реакции можно использовать для тюнинга промпта

Итог: Сейчас пайплайн экономит около 10 минут в день, но это самые неприятные 10 минут, которые требуют концентрации и быстро выматывают. По сути это история про автоматизацию рутины.

Инструменты позволяют автоматизировать гораздо больше, чем кажется. Вопрос только в том, готовы ли мы потратить день, чтобы перестать тратить внимание на мусор.

Когда не нужно писать код

2025-03-31T21:42:51.575Z

На днях ко мне обратился друг и попросил помочь ему с анализом анкет В анкете нужно было указать пару полей и проставить несколько галочек Были варианты:

Сделать форму, в который каждый пользователь заполняет анкету А если у пользователя сел телефон или нет интернета? А если он где-то что-то не так впишет? Не стоит перекладывать работу фирмы на клиентов
Загружать сканы анкет и распознавать анкеты Тут могли быть проблемы с неправильным вводом данных, нужно было бы тащить дополнительный OCR сервис
Сделать таблицу с данными в Google Документах, написать скрипт который бы проанализировал данные и вывел результат. Сотрудник фирмы, если набьет руку, будет тратить 1,5-2 минуты на анкету, плюс он может её скорректировать, если будут ошибки.

Я остановился на 3-м варианте и за пару часов сделал нужную таблицу
Вышло очень хорошо и просто Плюс, Google таблицу можно копировать, оставив старые данные для истории Вариант выигрывал везде – просто оператору, просто в разработке.

Не нужно держать веб сервис на хостинге, думать, кончились ли деньги или заниматься защитой.

Одно из крутых качеств программиста – понимать, когда нужно писать код, а когда нет. Мне как разработчику, было бы интересно поднять сервис на 3 docker контейнерах с парой таблиц, взаимодействием с OCR сервисом, но это нужно было бы спроектировать, написать, покрыть тестами и где-то захостить, следить за тем, что баланс денег не ушел в минус и т.д.

Порой чуть топорное решение – самое просто и хорошее

Настройка VLESS клиента для Android TV

2024-11-11T13:53:45.529Z

Нужен QR код для доступа к Shadowsocks/Vray, получить его можно из админки VPN сервера. Лучше сделать скриншот QR кода, у меня не заработал отдельный QR код в виде файла. Этот скриншот сохраняем на флешку.

2. Скачиваем на телевизор файловый менеджер, я использовал File Manager+ Список файловых менеджеров можно посмотреть на Lifehacker. С помощью него мы можем открыть флешку и установить APK файл
3. Идем на github страницу v2rayNG, в раздел релизы, выбираем самый последний релиз (сейчас 1.9.15), загружаем на флешку universal APK файл

С помощью файлового менеджера на Android TV устанавливаем APK файл с VPN клиентом, в процессе установки Android попросит разрешить приложению устанавливать программы из неизвестных источников

Запускаем V2rayNG, слева есть иконка "+", нажимаем её и следом выбираем пункт "Import from QR" (Импорт из QR кода) . У меня Android TV попросил доступа к камере (на ТВ приставке), я дал разрешение, без этого ничего не пойдет. После этого полявится иконка со знаком минуса.

6. Выбираем файловый менеджер, в нем выбираем файл с QR кодом – конфигурация должна импортироваться
7. Снизу появляется кнопка "Play", когда она включена, то будет гореть оранжевым цветом.

Приложение поддерживает как Shadowsocks/Outline подключения, так и VLESS.

Можно посмотреть видео на [Youtube](https://www.youtube.com/watch?v=pVghMr0wm1M&t=257s)

Как получить банковскую карту в Казахстане в 2024 году

2024-08-29T10:48:43.998Z

После определенных событий, в России не работают Visa и Mastercard, картами UnionPay не всегда можно расплатиться за границей. А как можно оплатить Steam или подписку на зарубежные сервисы, или не ходить с тонной наличных денег в зарубежных поездках?

Для Россиян до сих пор можно получить пластиковую карту в Казахстане. Я получал карты еще 2 года назад, но буквально на днях мой знакомый оформил карту банка Kaspi в Алматы.

Оформить карту не сложно, нужно только добраться до Казахстана:

Въезжать в республику нужно по заграничному паспорту. В Казахстан можно въехать и по внутреннему паспорту, но тогда у вас не будет отметки о пересечении границы, которая понадобиться при оформлении карты в банке.

Нужно подключить местную сим карту, телефонный номер понадобиться для получения ИИН (налоговый номер, аналог ИНН в России) и в банке. Номер делается 1-2 дня, нужно два раза посетить офис ЦОН (аналог "Мои документы"). Когда будет вам выдадут номер ИИН, прийдет смска на телефон.

С паспортом и ИИН нужно идти в офис банка Kaspi, это один из крупнейших банков в Казахстане, в крупных городах много отделений. После подписания договора, именную карту можно распечатать в картомате. Карта выпускается сроком на 3 года, первый год обслуживания бесплатный, следующие стоят 1995 тенге

Как работает картомат

Обязательно установите себе мобильное приложение банка, с помощью него можно оплачивать покупки в магазинах и проезд в общественном транспорте по QR коду. Кроме того в республике популярна оплата переводом между счетами Kaspi. В приложении банка включите оплату через интернет, если вам она нужна.

Карта Kaspi не поддерживает Apple Pay/Google Pay, валюта счета – тенге. Учитывая высокий уровень инфляции в Казахстане, не рекомендую держать большую сумму в тенге. Пополнять карту из России можно через P2P криптовалюты, покупаете за рубли USDT и продаете за тенге на бирже, комиссия около 2-3%.

Я оформлял мультивалютную карту в банке Halyk, но год назад её не оформляли россиянам-нерезидентам. Карта Halyk имеет три счета (тенге, $, €) и работает с Apple Pay.

P.S. На август 2024 года карты Мир принимали банкоматы VTB Kazakhstan, можно было снять наличные тенге

P.P.S. По законам России, гражданин обязан уведомиь налоговую о счетах зарубежом. В течении месяца вы обязаны подать уведомление, сделать это можно через сайт налоговой. Власти России и Казахстана обмениваются налоговой информацией, если не уведомите или сделаете это с запозданием – получите штраф. Как уведомить налоговую.

Если вы налоговый резидент России и у вас по иностранному счету оборот более 600 000 ₽ за год, нужно подавать налоговую декларацию и указывать перемещения денег по счетам. Это большой геморой, но за не подачу уведомления идет большой штраф.

Блеск и нищета eSIM

2023-11-05T09:35:30.514Z

Одной из причин покупки iPhone для меня была возможность использовать eSIM: наконец-то не нужно мучаться с этими сим картами, хранить их где-то и не терять. Плюс, я думал, что можно легко передавать сим карты с устройства на устйройство.

На этой неделе знакомый ехал в другую страну, а у меня есть eSIM карта местного оператора. Плюс, у него тоже iPhone, я ожидал, что смогу передать eSIM просто через iMessage, как это можно сделать с карточкой в Apple Wallet.
Так сделать не получилось. Но я нашел, что можно передать с одного телефона на другой, если два телефона будут рядом. Встретились, минут 15 пытались передать esim – не удалось.

Последний способ – пересоздать сим карту через мобильное приложение оператора. После нескольких попыток у нас тоже не удалось это сделать, поэтому от идее передать eSIM карту отказался.

Стоит задуматься, а стоит ли пользоваться esim в путешествиях ? Представте, что у вас перестанет включаться телефон и вы разом лишитесь всего, в том числе сотовой связи. Если обычную сим карту можно вставить в другой телефон, то с eSIM будут большие проблемы. А если у вас к eSIM привязан мобильный банкинг?

В этом году я месяц был в Грузии, взял себе eSIM карту. В один день мой iPhone просто не включался и пришлось обновлять прошивку через компьютер В этот момент я оказался совершенно без связи, что меня сильно напрягло. Ведь телефон это билеты на самолет, карты, мобильный банк, пароли и связь с остальными людьми.

Берите в поездку запасной телефон и подумайте насчет eSIM.

Хардовый Go/PHP митап, iSpring

2023-10-08T11:25:20.052Z

Офис компании iSpring

Вчера участвовал в Go/PHP митапе в Йошкар-Оле, в офисе компании iSpring. Давно хотел к ним съездить, но руки дошли только сейчас. Меня приятно удивил офис компании – такой дворец для сотрудников, где есть много удобных мелочей. Пожалуй, это самый удобный офис, который я видел в вживую (офисы Apple/Google из видео не в счет)

За хороший вопрос мне подариили книгу с кабаном

Выступления были хорошие, но самое главное – нетворкинг, общение в кулуарах. В следующий раз поеду на большее время, чтобы можно было пойти на афтепати.

Github copilot становится платным

2022-06-23T00:35:55.917Z

Я более месяца пользуюсь Github copilot – интеллектуальную систему на основе нейросети, которая помогает написать код. За этот месяц где-то 20% кода было написано с помощью copilot.

Copilot поддерживает Visual Studio, VS Code, Neovim и Idea (WebStorm, PhpStorm, PyCharm, GoLand, ...)

Только я успел привыкнуть к такому помошнику, как появилась новость, что с 22 августа 2022 года "копилот" стенет платным (10$/mo или 100$/yr).

Что же делать, за удобство надо платить.

endpoints.dev – пастебин для http запросов

2022-06-23T00:28:29.296Z

Иногда нужно по-быстрому посмотреть, какие данные передаются из веб формы, AJAX запроса или с помощью CURL на сервере. Можно конечно сниферить трафик с помощью Wireshark, но хочется сделать что-то за 5 минут.

Можно использовать сервис endpoints.dev, зайти на него и получить ссылку вида https://code.endpoints.dev. Все запросы на этот адрес будут логироваться в браузере и можно быстро посмотреть, какой запрос отправляет HTML форма.

Есть более мощные средства, поддерживающие регистрацию и сохранение множества адресов, но для простой работы хватает и endpoints.dev, благо разобраться в нем может и ребенок.

Sip.tg, как подружить Sip и Telegram

2021-12-23T14:48:57.193Z

Звонок через Telegram

Месенджер Telegram так ворвался в нашу жизнь, что у меня 2/3 звонков по телефону через него. Это быстро и удобно, можно общаться как с телефона, так и с планшета с компьютером.

Не так давно мне нужно было уехать на несколько недель за границу, и нужна была возможность связываться со мной людям, кто еще не освоил Telegram или Viber. Я подружил IP телефонию и звонки через месенжер Telegram в 3 хода:

Зарегистрировался в операторе, который дает возможность получить виртуальный номер и подключить его в SIP. Я использовал Zadarma, хотя можно использовать и Sipnet.
Завожу в Zadarma городской номер за 210 ₽/мес, получаю логин и пароль.
Добавляю в Telegtram бота siptg_bot, с помощью него настраиваю телефон (опция /softphone)
Теперь входящие звонки на городской номер будут идти как аудио звонки в Телеграмме. Чтобы позвонить из Телеграмм, нужно написать в @siptg_bot номер телефона (формат +7ABC1234567), после этого позвонить аккаунту @siptg

Смотрите так-же:

Связь в Грузии (2021)

2021-11-08T07:27:13.667Z

Хотел рассказать про мобильную связь в Грузии. Статья актуальна на ноябрь 2021 года.

Если вы прибываете в страну через аэропорт Тблилиси, в аэропорту будет 4-5 стоек с сим карт, от разных операторов. Но при этом цены на сим карты очень дорогие.

В Грузии 3 оператора Geocell, Magti и Beeline, местные жители рекомендовали Magti (кто-то из друзей пользовался Beeline и были проблемы со связью). У Магти есть тариф без абонплаты и пакет безлимитного интернета за 5 лари в неделю. Именно так, потому что пакет на месяц стоит сильно дороже, чем платить каждую неделю. Магти поддерживает eSIM, можно не менять карту, если у вас новый телефон. Тариф за 5 лари в недлею позволяет раздавать интернет, скорость по Speedtest.net в Тбилиси получалась около 50 Мбит/с.

Если вы еще не купили сим карту, в центре Тбилиси есть WI-Fi сеть "Tbilisi loves you", к которой можно подключиться и пользоваться интернетом.