Qu'est-ce que RSS-Bridge?
RSS-Bridge est une application Web légère et open-source conçue pour générer des flux RSS et Atom à partir de sites Web et de services en ligne qui ne fournissent pas de support de flux natif.
Il permet aux utilisateurs de suivre le contenu de sites Web, de réseaux sociaux, de plates-formes de médias et d'autres sources en ligne via leur lecteur de flux préféré.
RSS-Bridge y parvient grâce à une collection de composants indépendants appelés ponts. Chaque pont récupère des informations à partir d'un site Web ou d'un service particulier, extrait le contenu pertinent et le convertit en un format de flux standardisé.
Au lieu de visiter manuellement plusieurs sites Web pour vérifier les mises à jour, les utilisateurs peuvent s'abonner aux flux générés via des applications telles que FreshRSS, Miniflux, Tiny Tiny RSS ou d'autres lecteurs de flux compatibles.
RSS-Bridge prend en charge plusieurs formats de sortie, y compris les flux Atom compatibles RSS, JSON et autres formats lisibles par machine.
Son architecture légère et son système de pont configurable le rendent particulièrement adapté aux homelabs, aux développeurs et aux utilisateurs qui souhaitent un contrôle centralisé de leurs abonnements de contenu.
Histoire de RSS-Bridge
RSS-Bridge est un projet open-source créé par Sébastien Sauvage (sebsauvage).
Le projet a été conçu pour répondre à une limitation commune du Web: de nombreux sites Web publient des contenus fréquemment mis à jour sans fournir de flux RSS ou Atom.
RSS-Bridge a introduit une architecture modulaire dans laquelle des ponts individuels sont chargés de récupérer des informations à partir de sites Web spécifiques et de les convertir en entrées de flux normalisées.
Le projet original s'est poursuivi grâce au développement communautaire, les contributeurs maintenant les ponts existants, ajoutant des intégrations et adaptant les implémentations aux changements sur les sites Web externes.
RSS-Bridge est principalement développé en utilisant PHP et est conçu pour fonctionner sur les environnements d'hébergement Web PHP conventionnels.
Le code source du projet est publié dans le domaine public, tandis que certaines bibliothèques tierces incluses ont leurs propres licences.
Principales caractéristiques de RSS-Bridge
RSS-Bridge fournit une collection de fonctionnalités pour générer, personnaliser et consommer des flux de sites Web.
- Conversion de site Web en RSS: Générez des flux à partir de sites Web qui ne fournissent pas de support RSS natif.
- Ponts multiples: Accédez à une grande collection d'intégrations pour différents sites Web et services en ligne.
- Flux Atom: Générer des flux Atom normalisés compatibles avec les lecteurs de flux modernes.
- Sortie JSON: Fournir des données structurées pour les applications externes et l'automatisation.
- Intégration des médias sociaux: Récupérez le contenu public des plates-formes sociales prises en charge.
- Intégration de la plateforme vidéo: Générez des flux pour les chaînes, les utilisateurs et les collections de vidéos pris en charge.
- Surveillance des forums et des communautés: Suivez les communautés et les sources de discussion prises en charge.
- Configuration personnalisée du pont: Configurez les paramètres tels que les noms d'utilisateur, les requêtes de recherche, les catégories et les filtres de contenu.
- CSS Selector Bridge: Extrayez le contenu des sites Web à l'aide de sélecteurs CSS configurables.
- Pont XPath: Récupérez le contenu du site Web à l'aide d'expressions XPath.
- Filtrage de flux: Inclure ou exclure les éléments de flux en fonction des mots-clés et d'autres critères.
- Fusion de flux: Combinez plusieurs flux en une seule sortie.
- Réduction d'alimentation: Réduisez le volume des alimentations bruyantes.
- Mise en cache: Mettre en cache les flux générés pour réduire les requêtes répétées vers des sites Web externes.
- Liste blanche Bridge : Contrôlez les intégrations disponibles sur l'instance.
- Plusieurs backends de cache: Support fichier, SQLite, Memcached, et d'autres configurations de cache.
- Développement personnalisé: Permettre aux développeurs de créer et de maintenir des ponts supplémentaires.
Cas d'utilisation
RSS-Bridge est adapté pour les particuliers, les développeurs et les organisations qui veulent surveiller les sites Web sans support RSS natif.
Les cas d'utilisation courants incluent:
- Surveillance des médias sociaux: Suivez les publications publiques des plateformes de médias sociaux prises en charge.
- Abonnements vidéo: Surveillez les chaînes vidéo prises en charge et recevez des mises à jour lorsque du nouveau contenu est publié.
- Surveillance de site Web: Suivre les sites Web qui ne fournissent pas de flux RSS.
- Agrégation de blogs: Générez des flux à partir de blogs et de plateformes de publication indépendantes.
- Surveillance communautaire: Suivez les forums, les forums de discussion et les communautés en ligne pris en charge.
- Agrégation de nouvelles: Recueillir les mises à jour de plusieurs sites Web à travers un lecteur de flux unique.
- Flux de travail du développeur: Récupérez le contenu par programmation via la sortie Atom ou JSON.
- Intégration Homelab: Connectez les sites Web non pris en charge aux lecteurs de flux auto-hébergés.
- Recherche et surveillance: Suivre les sources d'information publiques et surveiller les changements au fil du temps.
- Découverte de contenu: Créez des flux personnalisés pour des sujets, des utilisateurs et des requêtes de recherche spécifiques.
- Collecte automatisée d'informations: Intégrez les flux générés dans des scripts et des systèmes d'automatisation.
Avantages de RSS-Bridge
- Génère des flux pour les sites Web sans support RSS natif
- Grande collection de ponts entretenus par la communauté
- Prend en charge les flux Atom compatibles RSS et la sortie JSON
- S'intègre avec les lecteurs de flux existants
- Extraction de contenu configurable
- Prend en charge les sélecteurs CSS et XPath personnalisés
- Permet de combiner plusieurs flux
- Fournit un filtrage de contenu configurable
- Met en cache les résultats pour réduire les requêtes externes
- Offre un contrôle sur les ponts disponibles
- Prend en charge le développement de ponts personnalisés
- Architecture légère basée sur PHP
- Ne nécessite pas de base de données relationnelle conventionnelle pour le fonctionnement de base
- Aide à centraliser la surveillance du contenu sans dépendre des interfaces de sites Web individuels
Comment installer RSS-Bridge
Pour installer RSS-Bridge via Esadax, suivez ces étapes:
- Achetez l'application via Esadax.
- Après l'achat, fournissez les détails de configuration de l'application requis.
- Configurez l'URL publique utilisée pour accéder à RSS-Bridge.
- Accédez à l'interface RSS-Bridge via son URL d'application attribuée.
- Passez en revue les ponts disponibles.
- Sélectionnez un site Web ou un service que vous souhaitez surveiller.
- Entrez les paramètres requis, tels qu'un nom d'utilisateur, un identifiant de canal ou une requête de recherche.
- Générez le flux.
- Copiez l'URL du flux généré.
- Ajoutez l'URL à votre lecteur RSS préféré.
- Configurez la mise en cache et la disponibilité du pont en fonction de vos besoins.
Une fois configuré, RSS-Bridge génère des flux qui peuvent être consommés par des applications compatibles.
Comprendre les ponts
Les ponts sont les composants de base de RSS-Bridge.
Chaque pont est chargé de récupérer des informations à partir d'un site Web ou d'un service en ligne particulier et de les convertir en une structure de flux normalisée.
Par exemple, un pont de plateforme vidéo peut récupérer des vidéos récemment publiées à partir d'une chaîne et les transformer en entrées de flux.
Un pont de médias sociaux peut récupérer les publications publiques d'un compte et les fournir via un flux Atom.
Différents ponts exposent différents paramètres de configuration en fonction du site Web ou du service qu'ils prennent en charge.
Les paramètres typiques incluent:
- Nom d'utilisateur ou identifiant de compte
- ID de canal
- Rechercher des mots clés
- Catégorie
- Type de contenu
- Nombre de résultats
- Plage de dates
- Options de filtrage
- Paramètres de pagination
Une fois que les paramètres requis sont fournis, RSS-Bridge génère une URL de flux qui peut être souscrite via n'importe quel lecteur de flux compatible.
La disponibilité et la fonctionnalité des ponts individuels dépendent du site Web externe, de son accessibilité et des modifications apportées à sa structure sous-jacente ou à son API.
Sites Web et services pris en charge
RSS-Bridge comprend une grande collection d'intégrations couvrant différentes catégories de contenu en ligne.
Les ponts disponibles varient d'une version à l'autre, et tous les sites Web ou toutes les plateformes ne sont pas pris en charge.
Les catégories courantes de ponts comprennent:
Les réseaux sociaux
- Mastodon
- TikTok
- Télégramme
- Gettr
- VK
Plateformes vidéo et de streaming
- YouTube
- Twitch
- Rumble
Musique et médias
- SoundCloud
- Autres services multimédias pris en charge
Extraction de site Web
- Pont du sélecteur CSS
- Pont XPath
- Extraction de site web personnalisé
Traitement des aliments pour animaux
- Pont de fusion de flux
- Pont de filtre d'alimentation
- Pont réducteur d'alimentation
Certains ponts dépendent de points de terminaison publics, tandis que d'autres s'appuient sur l'extraction HTML ou des interfaces spécifiques aux sites Web.
Les modifications apportées aux sites Web externes peuvent affecter temporairement ou définitivement la fonctionnalité du pont.
Générer des flux RSS et Atom
RSS-Bridge transforme les informations récupérées sur le site Web en entrées de flux normalisées.
Chaque entrée générée peut contenir des informations telles que:
- Titre
- URL du contenu original
- Horodatage de la publication
- Auteur
- Description ou contenu
- Images et fichiers multimédias
- Catégories
- Unique item identifier
Le flux résultant peut être consommé par des applications prenant en charge le format de sortie correspondant.
Par exemple, un flux Atom généré peut être ajouté à un lecteur de flux personnel aux côtés des abonnements RSS traditionnels.
Cela permet aux utilisateurs de surveiller les sites Web qui nécessitent autrement une navigation manuelle.
Formats de sortie
RSS-Bridge prend en charge plusieurs formats pour présenter le contenu récupéré.
Les formats disponibles incluent:
- Atom: Format de flux XML standardisé compatible avec la plupart des lecteurs de flux modernes.
- MRSS: Format RSS média pour les flux contenant du contenu multimédia.
- JSON: Sortie structurée pour les applications et les intégrations programmatiques.
- HTML: Présentation simple lisible par le navigateur.
- Texte brut: Sortie de texte brut.
- Sfeed: Sortie de texte séparé par des tabulations pour les utilitaires compatibles.
Atom est généralement le format préféré pour s'abonner via des lecteurs de flux traditionnels.
JSON est particulièrement utile lors de l'intégration de RSS-Bridge avec des applications personnalisées ou le traitement des informations récupérées à travers des scripts.
Extraction de site Web personnalisé
L'une des capacités les plus flexibles de RSS-Bridge est son support pour l'extraction de contenu à partir de sites Web en utilisant des sélecteurs CSS et des expressions XPath.
Le pont de sélecteur CSS permet aux administrateurs de définir quels éléments HTML doivent être extraits d'un site Web.
Par exemple, un utilisateur peut identifier les titres d'articles, les descriptions, les dates de publication et les liens à l'aide de sélecteurs CSS.
Le pont XPath fournit des fonctionnalités similaires en utilisant des expressions XPath.
Ces capacités sont particulièrement utiles pour les sites Web qui ne disposent pas d'un pont dédié existant.
Un flux de travail d'extraction typique implique:
- Identifiez la page Web contenant le contenu souhaité.
- Inspectez sa structure HTML.
- Identifiez les éléments contenant les titres des articles et les URL.
- Configurez les sélecteurs CSS ou les expressions XPath appropriés.
- Générer un flux en utilisant les règles d'extraction configurées.
- Ajoutez l'URL du flux résultant à un lecteur de flux.
L'extraction personnalisée dépend de la structure du site Web cible. Les modifications apportées à son code HTML peuvent nécessiter la mise à jour des sélecteurs ou des expressions XPath.
Filtrage et fusion des flux
RSS-Bridge comprend des ponts supplémentaires pour le traitement des flux existants.
Ces outils permettent aux utilisateurs de créer des flux personnalisés à partir de plusieurs sources ou de réduire le contenu indésirable.
Filtrage des aliments
Le pont de filtre de flux permet aux utilisateurs d'inclure ou d'exclure des éléments de flux en fonction de mots clés.
Par exemple, un utilisateur peut créer un flux qui inclut uniquement des articles contenant des termes techniques spécifiques tout en excluant le contenu non lié.
Les scénarios de filtrage typiques incluent:
- Incluez des mots-clés spécifiques.
- Excluez les sujets indésirables.
- Filtrez les articles par titre ou contenu.
- Réduisez les mises à jour non pertinentes.
- Créez des flux thématiques.
Fusion de flux
Le pont de fusion de flux combine plusieurs flux d'entrée en un seul flux.
Ceci est utile lors de la surveillance de plusieurs sites Web qui couvrent des sujets connexes.
Par exemple, un développeur peut combiner plusieurs flux d'actualités technologiques en un seul abonnement au lieu de conserver des entrées distinctes dans son lecteur de flux.
Réduction de l'alimentation
Le pont de réduction d'alimentation réduit le nombre d'éléments dans les alimentations bruyantes.
Cela peut être utile lorsqu'un site Web publie des mises à jour fréquentes et que seule une petite partie de son contenu est pertinente.
La combinaison du filtrage, de la fusion et de la réduction permet aux utilisateurs de créer des flux d'informations personnalisés.
Mise en cache des flux et performances
RSS-Bridge comprend un système de mise en cache pour réduire les requêtes répétées vers des sites Web externes.
Lorsqu'un flux est demandé pour la première fois, le pont correspondant récupère le contenu du site Web cible et génère une réponse mise en cache.
Les requêtes suivantes peuvent utiliser le résultat mis en cache jusqu'à ce que son temps d'expiration soit atteint.
La mise en cache offre plusieurs avantages:
- Réduit les requêtes répétées vers des sites Web externes.
- Améliore les temps de réponse des flux.
- Réduit la consommation des ressources du serveur.
- Aide à prévenir la limitation du débit.
- Réduit la probabilité de déclencher des protections anti-bot.
- Évite la récupération inutile de contenu non modifié.
L'expiration du cache est spécifique au pont et est généralement définie par défaut sur environ une heure, bien que les intégrations individuelles puissent utiliser des durées différentes.
RSS-Bridge actualise généralement les flux lorsqu'ils sont demandés après l'expiration de leur cache. Il ne récupère pas nécessairement de nouveau contenu en continu en arrière-plan.
L'intervalle de mise à jour dépend donc à la fois de la durée de cache configurée et de la fréquence à laquelle les lecteurs de flux demandent les flux générés.
Intégrations de Feed Reader
RSS-Bridge est conçu pour fonctionner avec les lecteurs de flux RSS et Atom existants.
Au lieu de remplacer un lecteur de flux, il agit comme une source supplémentaire qui génère des flux pour les sites Web autrement non pris en charge.
Les applications compatibles incluent:
- FreshRSS
- Miniflux
- A propos de Tiny RSS
- NewsBlur
- NetNewsWire
- Feedbro
- Autres lecteurs compatibles RSS et Atom
Le processus d'intégration est simple:
- Ouvrez le pont souhaité.
- Configurez ses paramètres.
- Générez l'URL du flux.
- Copiez l'URL générée.
- Ouvrez votre lecteur de flux préféré.
- Ajouter un nouvel abonnement.
- Collez l'URL RSS-Bridge.
- Enregistrez l'abonnement.
Le lecteur de flux récupère ensuite le contenu généré selon son propre calendrier de mise à jour et la configuration du cache de RSS-Bridge.
Sécurité / Administration / Configuration
RSS-Bridge est conçu comme un service d'extraction de contenu léger.
Étant donné que les ponts récupèrent des pages Web externes et traitent des informations provenant de sites Web tiers, les administrateurs doivent soigneusement configurer l'accès et l'utilisation des ressources.
Les pratiques de sécurité importantes comprennent:
- Utilisez HTTPS pour l'accès externe.
- Restreindre l’accès à l’interface d’administration le cas échéant.
- Activez uniquement les ponts qui sont nécessaires.
- Gardez l'application et les dépendances PHP à jour.
- Configurez des stratégies de mise en cache appropriées.
- Surveillez la consommation des ressources du serveur.
- Protégez les fichiers de configuration.
- Restreindre les permissions d'écriture du système de fichiers.
- Évitez d'exposer des informations de configuration sensibles.
- Surveillez les erreurs de pont et les défaillances de service externes.
- Limitez les requêtes inutiles vers des sites Web externes.
- Examinez les configurations d'extraction CSS et XPath personnalisées.
- Restreindre l'accès aux ressources sensibles du réseau interne.
Les instances accessibles au public doivent être configurées avec soin car elles permettent aux visiteurs de demander des ressources externes via l'application.
Les ponts personnalisés et les paramètres d'extraction fournis par l'utilisateur doivent être examinés pour détecter les risques potentiels de falsification de requête côté serveur (SSRF).
Les administrateurs doivent empêcher l'accès arbitraire aux adresses réseau internes, aux services privés et aux points de terminaison d'infrastructure sensibles.
Meilleures pratiques pour RSS-Bridge
- Activez uniquement les ponts requis par vos utilisateurs.
- Utilisez un domaine dédié pour votre instance RSS-Bridge.
- Activez HTTPS pour tous les accès externes.
- Configurez la mise en cache pour réduire les requêtes externes.
- Évitez les périodes d'expiration de cache inutilement courtes.
- Surveillez les ponts qui échouent fréquemment.
- Examinez les modifications apportées aux sites Web externes lorsque les flux cessent de fonctionner.
- Utilisez soigneusement les sélecteurs CSS et XPath.
- Combinez les flux connexes lorsque cela est approprié.
- Utilisez le filtrage pour éliminer le contenu non pertinent.
- Surveillez l'utilisation de la mémoire, du processeur et du réseau sortant.
- Restreindre l'accès à la configuration administrative.
- Gardez les fichiers de configuration sauvegardés.
- Mettez régulièrement à jour les définitions des ponts.
- Utilisez un lecteur de flux dédié pour consommer les flux générés.
- Respecter les conditions d’utilisation et les restrictions d’accès des sites externes.
Configuration et administration
Après avoir acheté cette application sur Esadax, vous pourrez configurer l'instance RSS-Bridge en fonction de vos besoins.
RSS-Bridge utilise un fichier de configuration INI nommé:
config.ini.php
Le dépôt fournit un fichier de configuration par défaut nommé:
config.default.ini.php
Les administrateurs doivent créer leur propre fichier de configuration plutôt que de modifier le fichier par défaut, car les paramètres par défaut peuvent être remplacés lors des mises à jour de l'application.
Les sections de configuration importantes incluent:
Paramètres du système
| Cadre | Description : |
|---|---|
env |
Environnement d'application, tel que la production ou le développement. |
enabled_bridges |
Définit quels ponts sont disponibles. |
timezone |
Fuseau horaire par défaut utilisé pour la gestion de la date et de l'heure. |
nocookie |
Contrôle l'option de domaine à confidentialité renforcée de YouTube lorsque celle-ci est prise en charge. |
Le paramètre enabled_bridges permet aux administrateurs de contrôler quelles intégrations sont disponibles.
Par exemple, des ponts spécifiques peuvent être activés individuellement ou tous les ponts disponibles peuvent être exposés.
Paramètres du cache
RSS-Bridge prend en charge plusieurs backends de mise en cache.
| Cadre | Description : |
|---|---|
type |
Moteur de cache, tel que fichier, SQLite, Memcached ou null. |
path |
Répertoire utilisé par le cache de fichiers. |
enable_purge |
Contrôle la suppression automatique des entrées de cache expirées. |
file |
Fichier de base de données SQLite utilisé par le cache SQLite. |
timeout |
Délai d'attente de la base de données pour les opérations de cache SQLite. |
host |
Nom d'hôte du serveur Memcached. |
port |
Port du serveur Memcached. |
La mise en cache des fichiers est l'option par défaut et convient aux installations simples.
SQLite ou Memcached peuvent être sélectionnés pour les environnements nécessitant une stratégie de mise en cache différente.
Paramètres spécifiques au pont
Les ponts individuels peuvent fournir leurs propres options de configuration.
En fonction de l'intégration, celles-ci peuvent inclure:
- Tokens d'authentification
- Nombre maximal de pages récupérées
- Paramètres de filtrage de contenu
- Paramètres de recherche
- Règles d'extraction personnalisées
- Autres options spécifiques au service
Configurez uniquement les paramètres requis par les ponts activés sur votre instance.
Les options disponibles dépendent de la version de RSS-Bridge sélectionnée et des implémentations de pont installées.
Stockage et persistance
RSS-Bridge ne nécessite pas de base de données relationnelle conventionnelle pour son fonctionnement de base.
Son cache basé sur des fichiers stocke les réponses de flux générées et peut être configuré via les paramètres de l'application.
Selon le moteur de cache sélectionné, le stockage persistant peut être nécessaire pour :
- Réponses de flux mises en cache
- Données du cache SQLite
- Fichiers de configuration personnalisés
- Données spécifiques à l'application
Pour un fonctionnement fiable:
- Conservez
config.ini.php. - Configurez un répertoire de cache persistant.
- Protégez les fichiers de configuration contre les accès non autorisés.
- Sauvegardez les définitions de pont personnalisées.
- Surveillez la consommation de stockage en cache.
- Utilisez SQLite ou Memcached le cas échéant.
- Testez la restauration de la configuration après les mises à jour des applications.
Le cache peut généralement être régénéré car il contient des données de flux récupérées plutôt que le contenu original de sites Web externes.
La configuration personnalisée et les modifications de pont doivent toujours être sauvegardées séparément.
Création de ponts personnalisés
RSS-Bridge est conçu pour être extensible.
Les développeurs peuvent créer des ponts supplémentaires lorsqu'un site Web ou un service en ligne particulier n'est pas pris en charge par les intégrations existantes.
Un pont est chargé de récupérer le contenu, d'extraire les informations pertinentes et de les transformer en entrées de flux normalisées.
Une mise en œuvre de pont typique comprend:
- Informations sur le site Web source
- Paramètres d'entrée configurables par l'utilisateur
- Récupération de contenu externe
- Analyse des réponses HTML ou API
- Génération d'élément de flux
- Configuration du cache
- Gestion des erreurs
- Mise en forme de sortie
Une entrée de flux générée peut contenir un titre, une URL, un horodatage de publication, un auteur, un contenu, des pièces jointes, des catégories et un identifiant unique.
Les développeurs peuvent implémenter une extraction personnalisée en utilisant PHP et le framework RSS-Bridge.
Cela rend la plate-forme adaptée aux organisations qui souhaitent surveiller des sites Web spécialisés ou des sources de contenu internes.
État du projet et compatibilité du pont
RSS-Bridge repose sur des intégrations individuelles pour récupérer du contenu à partir de sites Web externes.
Cela signifie que la disponibilité d’une alimentation dépend de la fiabilité de son pont correspondant.
Les services externes peuvent modifier leur structure HTML, leurs points de terminaison API, leurs exigences d'authentification et leurs limites de débit sans préavis.
Lorsque cela se produit, un pont affecté peut cesser de renvoyer de nouveaux éléments ou générer des erreurs jusqu'à ce que son implémentation soit mise à jour.
Les administrateurs doivent examiner périodiquement l'état des ponts importants et éviter de supposer que chaque intégration restera compatible indéfiniment.
RSS-Bridge met également en cache le contenu généré, de sorte qu'une entrée de flux plus ancienne n'indique pas nécessairement que le pont est actuellement en panne.
IV. CONCLUSION
RSS-Bridge est une application open source légère conçue pour générer des flux RSS et Atom pour les sites Web et les services qui ne fournissent pas de support de flux natif.
Avec sa vaste collection de ponts, son extraction de contenu configurable, son filtrage de flux, sa fusion de flux, ses multiples formats de sortie et sa fonctionnalité de mise en cache, il fournit un moyen flexible de centraliser les informations provenant de sites Web autrement déconnectés.
Son architecture basée sur PHP et sa configuration axée sur les fichiers le rendent relativement simple à utiliser, tandis que son système de pont extensible permet aux développeurs d'ajouter un support pour des sources supplémentaires.
RSS-Bridge est une solution pratique pour les administrateurs de laboratoire à domicile, les développeurs, les chercheurs, et tous ceux qui veulent suivre plus de la toile à travers un lecteur de flux RSS ou Atom centralisé.

