Mikä on RSSHub?
RSSHub on joustava, avoimen lähdekoodin syötteenmuodostusalusta, joka on suunniteltu luomaan RSS- ja Atom-syötteitä verkkosivustoilta, sosiaalisista verkostoista, verkkopalveluista ja muista sisältölähteistä, jotka eivät tarjoa natiivia syöttötukea.
Sen avulla käyttäjät voivat seurata eri alustojen sisältöä keskitetyn RSS-syötelukijan kautta käymättä manuaalisesti yksittäisillä verkkosivustoilla tarkistamassa päivityksiä.
RSSHub saavuttaa tämän suuren kokoelman integraatioita, joita kutsutaan reiteiksi. Jokainen reitti hakee sisältöä tietystä verkkosivustosta tai palvelusta, poimii asiaankuuluvat tiedot ja muuntaa ne standardoiduksi syötteeksi.
Tuettuja lähteitä ovat sosiaaliset verkostot, videoalustat, uutissivustot, blogit, foorumit, kehittäjäyhteisöt ja muut verkkopalvelut.
RSSHub tukee myös mukautettuja reittejä, sisällön suodatusta, koko tekstin poistoa, syötteen välimuistia ja integraatioita ulkoisten sovellusten kanssa.
Se on erityisen hyödyllinen kehittäjille, tutkijoille, sisällön harrastajille ja itse isännöiville käyttäjille, jotka haluavat keskittää tietoja eri verkkolähteistä.
RSSHubin historia
RSSHub on avoimen lähdekoodin projekti, jonka on alun perin luonut DIYgod.
Hanke kehitettiin vastaamaan verkon yleiseen rajoitukseen: monet verkkosivustot ja verkkoalustat eivät tarjoa RSS-syötteitä, mikä vaikeuttaa niiden päivitysten seuraamista perinteisten syötteenlukijoiden kautta.
RSSHub esitteli reittipohjaisen arkkitehtuurin, joka hakee tietoja eri verkkosivustoilta ja muuntaa ne standardoituihin syötteen muotoihin.
Ajan myötä projekti laajensi integraatiokokoelmansa kattamaan laajan valikoiman sisällöntuottajia, mukaan lukien sosiaaliset verkostot, videopalvelut, uutisalustat ja kehittäjätyökalut.
RSSHub on ensisijaisesti kehitetty käyttämällä JavaScript ja TypeScript ja toimii Node.js.
Projektia ylläpitää osallistujayhteisö, joka kehittää uusia reittejä, parantaa olemassa olevia integraatioita ja mukauttaa toteutuksia ulkoisten verkkosivustojen muuttuessa.
RSSHub on jaettu GNU Affero General Public License versio 3 (AGPL-3.0).
Tärkeimmät ominaisuudet RSSHub
RSSHub tarjoaa kattavan kokoelman ominaisuuksia syötteiden luomiseen ja hallintaan ulkoisista sisältölähteistä.
- Website-to-RSS Conversion: Luo syötteitä verkkosivuilla, jotka eivät tarjoa natiivi RSS-tuki.
- Laaja reittikokoelma: Käytä sosiaalisten verkostojen, videoalustojen, uutissivustojen, blogien ja verkkopalvelujen integrointeja.
- RSS- ja Atom-syötteet: Muunna noudettu sisältö standardoituihin syötteen muotoihin.
- JSON-lähtö: Käytä jäsenneltyä sisältöä tuettujen JSON-päätepisteiden kautta.
- Sisällön suodatus: Suodata luodut syötteet käyttämällä avainsanoja ja muita tuettuja parametreja.
- Full-Text Extraction: Hae ylimääräistä artikkelin sisältöä tuetuista lähteistä.
- Mukautetut reittiparametrit: Määritä syötteet käyttämällä käyttäjätunnuksia, kanavatunnisteita, luokkia, avainsanoja ja muita lähdekohtaisia vaihtoehtoja.
- Syötteen välimuisti: Välimuisti noudetun sisällön vähentääkseen toistuvia pyyntöjä ulkoisille verkkosivustoille.
- Redis-integraatio: Käytä pysyvää välimuistia vaativampiin käyttöönottoihin.
- Välityspalvelintuki: Reititä valitut ulkoiset pyynnöt yhteensopivien välityspalvelimien kautta.
- RSSHub Tutka: Tutustu saatavilla syötteen reittejä suoraan tuetuista sivustoista.
- Yksityiset reitit: Kehitä mukautettuja integrointeja verkkosivustoille ja palveluille, joita vakioreittikokoelma ei kata.
- Pääsynvalvonta: Suojaa syötteen päätepisteet käyttämällä käyttöoikeuksia ja luotuja käyttöoikeuksia.
- Reittidokumentaatio: Tutustu yksityiskohtaiseen dokumentaatioon, joka kuvaa yksittäisiä reittejä ja niiden parametreja.
- API Integration: Hae luodut syötteet kautta HTTP-pyyntöjä.
- Kehittäjä laajennettavuus: Rakenna ja edistää lisää reittejä käyttämällä JavaScript tai TypeScript.
- Multi-Platform Support: Integroi luodut syötteet laajan valikoiman RSS-lukijoita ja automaatiotyökaluja.
Esimerkkejä käytöstä
RSSHub sopii yksityishenkilöille, kehittäjille ja organisaatioille, jotka tarvitsevat seurata sisältöä useista verkkosivustoista ja verkkopalveluista.
Yleisiä käyttötapauksia ovat:
- Sosiaalisen median seuranta: Seuraa julkisia viestejä ja päivityksiä tuetuista sosiaalisista alustoista.
- Videotilaukset: Valvo sisällöntuottajia, kanavia ja videokokoelmia.
- News Aggregation: Kerää päivitykset eri uutissivustoja osaksi keskitetty syötteenlukija.
- Blogin seuranta: Seuraa blogeja ja itsenäisiä julkaisualustoja ilman natiiveja RSS-syötteitä.
- Kehittäjäresurssit: Seuraa GitHub-säilöjä, julkaisuja, ongelmia ja muita tuettuja kehitysresursseja.
- Yhteisön seuranta: Seuraa tuettuja foorumeita, keskusteluyhteisöjä ja verkkoryhmiä.
- Tutkimus: Kerää tietoa erikoistuneista verkkosivustoista ja verkkojulkaisuista.
- Sisältö Discovery: Seuraa tiettyjä tekijöitä, aiheita, kanavia ja hakutuloksia.
- Automaattiset työnkulut: Hae ulkoista sisältöä syötteen URL-osoitteiden kautta ja integroi se komentosarjoihin.
- Homelab Integration: Yhdistä verkkosivustot ilman RSS-tukea itse isännöityihin syötteenlukijoihin.
- Tiedon keskittäminen: Yhdistä useita sisältölähteitä yhdeksi tilausympäristöksi.
RSSHubin hyödyt
- Avoimen lähdekoodin ja itseisännöidyn syötteen luominen
- Suuri kokoelma verkkosivusto- ja palveluintegraatioita
- Luo syötteitä lähteille, joilla ei ole natiivia RSS-tukea
- Tukee RSS:ää, Atomia ja jäsenneltyä dataa
- Mukautettavat reittiparametrit
- Kokotekstin poisto tuetuista lähteistä
- Sisällön suodatus ja syötteen räätälöinti
- Välimuisti turhien ulkoisten pyyntöjen vähentämiseksi
- Välityspalvelimen tuki rajoitetuille verkkosivustoille
- Räätälöity reittikehitys
- Integrointi olemassa oleviin RSS-lukijoihin
- Selainpohjainen syötteen löytäminen RSSHub Radar -sovelluksen kautta
- Yksityisten esiintymien käyttöoikeuksien hallinta
- Peruskäyttöön ei tarvita tavanomaista relaatiotietokantaa
- Parempi sisällön noudon ja syötteen luomisen hallinta
Kuinka asentaa RSSHub
Voit asentaa RSSHubin Esadaxin kautta noudattamalla seuraavia ohjeita:
- Osta sovellus Esadaxin kautta.
- Oston jälkeen anna tarvittavat sovelluksen kokoonpanotiedot.
- Määritä julkinen URL-osoite, jota käytetään RSSHub-esiintymän käyttämiseen.
- Määritä välimuisti odotetun käytön mukaan.
- Määritä ulkoiset käyttörajoitukset, jos esiintymä on yksityinen.
- Määritä välityspalvelinyhteys, jos tietyt sisältölähteet vaativat sitä.
- Käytä RSSHubia sille määritetyn sovellus-URL: n kautta.
- Selaa saatavilla olevaa reittidokumentaatiota.
- Valitse verkkosivusto tai palvelu, jota haluat seurata.
- Määritä reitin parametrit.
- Luo syötteen URL-osoite.
- Lisää tuloksena oleva URL-osoite haluamaasi RSS-lukuohjelmaan.
Kun se on määritetty, RSSHub tarjoaa keskitetyn palvelun syötteiden luomiseen tuetuilta verkkosivustoilta ja verkkoalustoilta.
RSSHub-reittien ymmärtäminen
Reitit ovat RSSHubin ydinkomponentteja.
Jokainen reitti määrittelee, miten RSSHub hakee sisältöä tietystä verkkosivustosta tai palvelusta ja muuntaa sen standardoiduksi syötteeksi.
Reitti koostuu yleensä:
- Lähteen nimitila, joka tunnistaa verkkosivuston tai palvelun.
- Sisältöluokka, joka tunnistaa tiedon tyypin.
- Tilin, kanavan tai sisällön tunnistavat pakolliset parametrit.
- Valinnaiset parametrit, jotka ohjaavat suodatusta ja tulostuskäyttäytymistä.
Esimerkiksi YouTube-kanavan reitti voidaan jäsentää seuraavasti:
/youtube/user/JFlaMusic
Kun se yhdistetään RSSHub-esiintymän osoitteeseen, se luo tilauksen URL-osoitteen:
https://rsshub.example.com/youtube/user/JFlaMusic
Luodun URL-osoitteen voi lisätä suoraan RSS-lukijaan.
Muut reitit saattavat vaatia parametreja, kuten:
- Käyttäjätunnus
- Kanavan tunnus
- Säilytystilan nimi
- Artikkeliluokka
- Etsi avainsanoja
- Maantieteellinen sijainti
- Sisällön tunniste
- Todennustiedot
Jokaisella reitillä on oma dokumentaationsa, jossa kuvataan tuetut parametrit ja rajoitukset.
Tuetut verkkosivustot ja palvelut
RSSHub tarjoaa suuren kokoelman integraatioita, jotka kattavat erityyppisiä verkkosisältöjä.
Yksittäisten reittien tarkka saatavuus riippuu RSSHub-versiosta ja kunkin integraation nykyisestä toteutuksesta.
Yleisiä integraatioluokkia ovat:
Sosiaalisten verkostojen palvelut
- Mastodon
- Sähke
- X
- Muut tuetut sosiaaliset alustat
Muut videoalustat
- YouTubessa
- Bilibili
- Twitch
- Muut tuetut videopalvelut
Kehittäjien alustat ja työkalut
- GitHub
- GitLab
- Stack Overflow -sivusto
- Teknisen dokumentaation alustat
- Ohjelmistokehitysyhteisöt
Uutiset ja julkaisut
- Uutiset ja uutissivustot
- Verkkolehdet
- Riippumattomat blogit
- Julkaisualustat
- Teknologia-alan julkaisut
Foorumit ja yhteisöt
- Keskustelupalstat
- Verkkoyhteisöt
- Julkiset käyttäjäprofiilit
- Tuetut yhteisöalustat
Muut sisältölähteet
- Podcastit
- Akateemiset julkaisut
- Taloudelliset tiedot
- Verkkokaupan alustat
- Julkiset valtion tiedot
- Erikoistuneet sivustot ja palvelut
Reittiluetteloa ylläpitää jatkuvasti yhteisö. Jotkin integroinnit saattavat vaatia lisämäärityksiä, todennusta tai käyttöä yhteensopivan välityspalvelimen kautta.
RSS- ja Atom-syötteiden luominen
RSSHub hakee tietoa ulkoisilta verkkosivustoilta ja muuntaa sen standardoiduiksi syöttömerkinnöiksi.
Jokainen luotu merkintä voi sisältää tietoja, kuten:
- Otsikko
- Alkuperäisen sisällön URL
- Julkaisupäivämäärä
- Kirjoittaja
- Kuvaus
- Artikkelin sisältö
- Kuvat
- Luokat
- Yksilöllinen kohteen tunniste
Tuloksena oleva syöte voidaan kuluttaa sovelluksilla, jotka ovat yhteensopivia RSS: n tai Atomin kanssa.
Esimerkiksi käyttäjät voivat tilata YouTube-kanavan RSSHubin kautta, vaikka he eivät haluaisi käyttää alustan alkuperäistä käyttöliittymää.
Luotu syötteen URL-osoite pysyy yhdistettynä määritettyyn reittiin ja sen parametreihin.
Kun syötteenlukija pyytää uutta sisältöä, RSSHub hakee uusimmat tiedot lähteestä, kun vastaava välimuisti on vanhentunut.
Tämä mahdollistaa useiden verkkosivustojen ja palveluiden seuraamisen yhden syötteenlukusovelluksen kautta.
Reittiparametrit ja räätälöinti
RSSHub tukee reittikohtaisia parametreja, joiden avulla käyttäjät voivat mukauttaa integraation palauttamia tietoja.
Parametrit riippuvat yksittäisestä reitistä ja voivat ohjata, mitä sisältöä haetaan ja miten se esitetään.
Yleisiä vaihtoehtoja ovat:
- Tietyn käyttäjän tai kanavan valitseminen.
- Sisällön suodattaminen luokittain.
- Hakuavainsanojen määrittäminen.
- Palautettavien tuotteiden määrän rajoittaminen.
- Ei-toivotun sisällön poissulkeminen.
- Kokotekstitulostuksen ottaminen käyttöön.
- Tiettyjen sisältötyyppien valitseminen.
- Päivämäärä- tai sivuutussuodattimien määrittäminen.
- Tuettujen lähteiden todennustietojen tarjoaminen.
Käyttäjä voi esimerkiksi määrittää reitin, jolla haetaan viestejä tietystä tilistä sen sijaan, että luodaan syöte, joka sisältää kaiken käytettävissä olevan sisällön.
Jotkut reittiparametrit voivat myös ohjata multimedian käsittelyä ja sisällön poimimista.
Reittidokumentaatiota tulee aina konsultoida, koska parametrit eivät ole universaaleja kaikissa integraatioissa.
RSSHub-tutka
RSSHub Radar on kumppani työkalu suunniteltu tekemään löytää RSS-syötteet helpompaa.
Sen sijaan, että käyttäjät etsisivät manuaalisesti reittidokumentaatiota, he voivat selata verkkosivustoa ja antaa Radarille mahdollisuuden tunnistaa käytettävissä olevat syöttölähteet.
Tutka tutkii nykyisen verkkosivuston ja tarkistaa:
- Natiivi RSS- tai Atom-syötteet.
- Tuetut RSSHub-reitit.
- Oleelliset reittiparametrit nykyiselle sivulle.
- Vaihtoehtoiset tilauslähteet.
Kun yhteensopiva reitti on käytettävissä, Radar voi tarjota luodun RSSHub-tilauksen URL-osoitteen.
Tämä tekee syötteiden löytämisestä paljon helpompaa käyttäjille, jotka käyvät usein verkkosivustoilla, joilla ei ole natiivia RSS-tukea.
RSSHub Radar integroituu tuettujen selainlaajennusten, mobiilisovellusten ja muiden yhteensopivien työkalujen kanssa.
Aiheeseen liittyviä sovelluksia ovat:
- RSSHub Radar -selainlaajennus
- RSSBud iOS-laitteille
- RSSAid Androidille
Sisällön suodatus ja kokotekstin poisto
RSSHub tukee lisäparametreja tuettujen reittien palauttaman sisällön mukauttamiseen.
Sisällön suodatus
Suodatuksen avulla käyttäjät voivat vähentää merkityksettömiä kohteita ja keskittyä tiettyihin aiheisiin.
Reitistä riippuen suodatus voi sisältää:
- Avainsanojen vastaavuus
- Avainsanan poissulkeminen
- Kategorian valinta
- Sisältötyypin valinta
- Tekijäsuodatus
- Muut lähdekohtaiset ehdot
Uutissyöte voidaan esimerkiksi määritellä siten, että se sisältää valittuja teknisiä avainsanoja sisältäviä artikkeleita ja sulkee pois aiheeseen liittymättömät aiheet.
Koko tekstin poisto
Jotkut reitit tukevat artikkelien koko sisällön hakemista sen sijaan, että palautettaisiin vain otsikot ja lyhyet kuvaukset.
Tästä on hyötyä syötelukijoille, jotka tukevat koko sisällön lukemista ja offline-artikkelien tallennusta.
Kokotekstin poimiminen riippuu lähdeverkkosivustosta ja vastaavasta reitin toteutuksesta.
Jotkin verkkosivustot rajoittavat pääsyä kokonaisiin artikkeleihin tai vaativat ylimääräistä todennusta.
Välimuisti ja suorituskyky
RSSHub sisältää välimuistijärjestelmän, joka on suunniteltu vähentämään toistuvia pyyntöjä ulkoisille verkkosivustoille.
Kun RSS-lukija pyytää syötettä, RSSHub tarkistaa, onko vastaava sisältö saatavilla sen välimuistissa.
Jos kelvollinen välimuistissa oleva tulos on olemassa, se voidaan palauttaa hakematta samoja tietoja uudelleen.
Kun välimuistissa oleva sisältö vanhenee, RSSHub voi hakea päivitetyt tiedot alkuperäisestä lähteestä.
Välimuistiin tallentaminen tarjoaa useita etuja:
- Vähentää pyyntöjä ulkoisille verkkosivustoille.
- Parantaa vasteaikoja.
- Vähentää palvelimen resurssien kulutusta.
- Auttaa välttämään ulkoisia nopeusrajoituksia.
- Vähentää toistuvaa sisällön poistoa.
- Parantaa usein pyydettyjen reittien vakautta.
RSSHub tukee kahta ensisijaista välimuistin backends:
- Muistin välimuisti: Tallentaa välimuistiin tallennetun sisällön sovellusmuistiin.
- Redis-välimuisti: Tarjoaa pysyvän välimuistin ulkoisen Redis-palvelun kautta.
Reittivastausten oletusvälimuistin kesto on viisi minuuttia, kun taas sisällön välimuisti voi käyttää erillistä vanhentumisaikaa.
Välimuistin kestot voidaan määrittää yksittäisten käyttöönottojen vaatimusten mukaisesti.
RSSHub hakee yleensä päivitetyn sisällön, kun pyyntö saapuu asiaankuuluvan välimuistin vanhentumisen jälkeen. Se ei valvo jatkuvasti jokaista tuettua verkkosivustoa taustalla.
Välityspalvelimen tuki ja rajoitetut verkkosivustot
Jotkin verkkosivustot toteuttavat indeksoinnin vastaisia mekanismeja, jotka voivat estää RSSHubia hakemasta sisältöä luotettavasti.
Rajoituksiin voi kuulua:
- Pyynnön nopeusrajoitukset
- IP-pohjaiset rajoitukset
- Selaimen vahvistus
- Alueelliset rajoitukset
- Todentamisvaatimukset
- Automatisoitu liikenteen havaitseminen
RSSHub tukee HTTP- ja HTTPS-välityspalvelinmäärityksiä reiteille, jotka vaativat vaihtoehtoista verkkoyhteyttä.
Järjestelmänvalvojat voivat myös määrittää välityspalvelimen säännöt siten, että vain valitut ulkoiset pyynnöt kulkevat välityspalvelimen kautta.
Jotkin reitit saattavat vaatia tilin evästeitä tai muita todennustietoja.
Välityspalvelinyhteys voi parantaa tiettyjen lähteiden käytettävyyttä, mutta se ei takaa, että jokainen rajoitettu verkkosivusto toimii.
Näiden reittien toiminta riippuu kohdeverkkosivustosta ja sen nykyisistä käyttöoikeuskäytännöistä.
Mukautetut ja yksityiset reitit
RSSHub tarjoaa laajennettavan arkkitehtuurin, jonka avulla kehittäjät voivat luoda mukautettuja integraatioita.
Kun verkkosivusto ei kuulu olemassa olevan reittikokoelman piiriin, kehittäjät voivat toteuttaa oman reitin JavaScriptin tai TypeScriptin avulla.
Mukautetut reitit voivat hakea sisältöä seuraavien kautta:
- Julkiset verkkosivustosivut
- HTML-uutto
- Julkiset ohjelmointirajapinnat
- Todennetut ohjelmointirajapinnat
- RSS- ja Atom-syötteet
- Muut strukturoidut tietolähteet
Reitti määrittelee tyypillisesti nimitilan, URL-mallin, parametrivaatimukset, sisällön noutamistavan ja luodut syötteen merkinnät.
RSSHub tukee myös yksityisiä reittejä, joita voidaan ylläpitää pääreittikokoelmasta riippumatta.
Yksityisistä reiteistä on hyötyä:
- Yrityksen sisäiset verkkosivut
- Yksityiset sisältölähteet
- Erikoistuneet seurantatyönkulut
- Mukautetut liiketoimintaintegraatiot
- Julkaisemattomat verkkosivustointegraatiot
- Organisaatiokohtaiset tietolähteet
Tämä tekee RSSHubista sopivan ympäristöihin, joissa tavalliset julkiset integraatiot eivät riitä.
API- ja kehittäjäintegraatiot
RSSHub paljastaa luodun sisällön HTTP-päätepisteillä.
Jokainen reitti voidaan käyttää suoraan sen luodun URL-osoitteen kautta, mikä tekee integraatiosta ulkoisten sovellusten kanssa suoraviivaista.
Yleisiä integrointiskenaarioita ovat:
- Luotujen syötteiden lisääminen syötteenlukijoihin.
- Ulkoisen sisällön hakeminen ohjelmallisesti.
- Mukautettujen tietopaneelien rakentaminen.
- Verkkosivujen päivitysten seuranta automaation avulla.
- Syötteiden integrointi sisäisiin sovelluksiin.
- JSON-vastausten käsittely komentosarjojen kautta.
- Räätälöityjen ilmoitusjärjestelmien luominen.
- Kehitetään lisää RSSHub-reittejä.
RSSHub voidaan käyttää myös npm paketti sisällä Node.js sovelluksia.
Tämän avulla kehittäjät voivat alustaa RSSHub-kehyksen ja pyytää reittitietoja suoraan muista JavaScript- ja TypeScript-projekteista.
Käytönvalvonta ja yksityiset esiintymät
RSSHub tukee käyttöoikeuksien valvontaa asennuksissa, joiden ei pitäisi olla julkisesti saatavilla.
Järjestelmänvalvojat voivat määrittää käyttöavaimen, joka edellyttää todennusta luotuja syötteitä pyydettäessä.
Tuettuja käyttötapoja ovat:
- Suora pääsy valtuutetulla avaimella.
- Reittikohtaiset pääsykoodit.
- Pääsyrajoitukset ulkoisen käänteisen välityspalvelimen kautta.
Pääsykoodit voidaan luoda määritetystä avaimesta ja pyydetystä reitistä.
Näin käyttäjät voivat antaa käyttöoikeuden yksittäisiin syötteen tilauksiin ilman, että yleiset käyttöoikeustiedot välttämättä paljastuvat.
Yksityisiä käyttöönottoja varten järjestelmänvalvojien tulee suojata RSSHub-käyttöliittymä ja luodut syötteen URL-osoitteet.
Sovellus tukee myös terveystarkastuksen päätepisteen käyttöoikeuksien suojausta, kun yleinen käyttöoikeuksien hallinta on käytössä.
Tietoturva / ylläpito / konfigurointi
RSSHub hakee tietoja ulkoisilta verkkosivustoilta ja käsittelee pyyntöjä reittiparametrien perusteella.
Sen käyttöönottoon tulisi siksi sisällyttää asianmukaiset tietoturva- ja verkkovalvontatoimet.
Tärkeitä turvallisuuskäytäntöjä ovat:
- Ota HTTPS käyttöön ulkoista käyttöä varten.
- Rajoita pääsyä yksityisiin esiintymiin.
- Määritä käyttöoikeusnäppäimet tarvittaessa.
- Suojaa yksittäisten reittien käyttämät todennustiedot ja evästeet.
- Pidä sovellus ja sen riippuvuudet ajan tasalla.
- Käytä luotettuja välityspalvelinmäärityksiä.
- Valvo ulkoisten pyyntöjen epäonnistumisia.
- Rajoita arkaluontoisten hallintatoimintojen käyttöä.
- Tarkista mukautetut reittitoteutukset.
- Vältä sisäisten verkkopalveluiden paljastumista käyttäjän hallitsemien reittiparametrien kautta.
- Seuraa resurssien kulutusta ja pyyntötiheyttä.
- Määritä asianmukaiset välimuistikäytännöt.
Erityistä huomiota on kiinnitettävä palvelinpuolen pyyntöjen väärentämiseen (SSRF).
Jotkin reitit hakevat sisältöä ulkoisista URL-osoitteista, ja käyttäjän hallitsemat epäturvalliset kohteet voivat aiheuttaa riskejä, kun esiintymä on julkisesti käytettävissä.
Sovellus tarjoaa kokeellisia ohjaimia käyttäjän toimittamien verkkotunnusten rajoittamiseen. Julkisten instanssien tulisi säilyttää rajoittavat oletusarvot ja välttää mielivaltaista pääsyä yksityisiin IP-alueisiin ja sisäisiin palveluihin.
Yksityisissä asennuksissa käyttörajoituksia tulisi valvoa sovelluksen ja ympäröivän verkkoinfrastruktuurin kautta.
RSSHubin parhaat käytännöt
- Käytä RSSHub-esiintymääsi erillistä verkkotunnusta.
- Ota HTTPS käyttöön kaikessa ulkoisessa käytössä.
- Tilaa vain ne reitit, joita todella tarvitset.
- Tarkista reittidokumentaatio ennen integraatioiden määrittämistä.
- Käytä välimuistia tarpeettomien pyyntöjen vähentämiseksi.
- Määritä Redis, kun tarvitaan pysyvää välimuistia.
- Käytä välityspalvelinta vain lähteille, jotka vaativat sitä.
- Suojaa yksityiset reitit kulunvalvonnan avulla.
- Vältä paljastamasta todennusevästeitä julkisissa syötteen URL-osoitteissa.
- Valvo reittejä, jotka usein epäonnistuvat.
- Tarkista ulkoisten verkkosivustojen muutokset, kun integraatiot lakkaavat toimimasta.
- Käytä syötteenlukijoita tilauksen päivitystiheyden hallintaan.
- Varmuuskopioi mukautetut reittitoteutukset ja kokoonpano.
- Pidä sovellus ja reittimääritykset ajan tasalla.
- Kunnioita ulkopuolisten verkkosivustojen pääsykäytäntöjä ja käyttöehtoja.
Konfigurointi ja hallinta
Kun olet ostanut tämän sovelluksen Esadax, voit määrittää RSSHub vaatimusten mukaisesti.
RSSHub tarjoaa kokoonpanojärjestelmän verkon käytön, välimuistin, kirjautumisen, välityspalvelimen käyttäytymisen, turvallisuuden ja reitin suorittamisen hallintaan.
Tärkeitä kokoonpanoalueita ovat:
Verkkoasetukset
| Asetus | Kuvaus |
|---|---|
| Kuunteluportti | RSSHub-palvelun käyttämä verkkoportti. |
| Pyynnön aikakatkaisu | Ulkoisille pyynnöille sallittu enimmäisaika. |
| Pyydä uusintayrityksiä | Epäonnistuneiden pyyntöjen uudelleenyritysten määrä. |
| Käyttäjäagentti | Ulkoisille verkkosivustoille lähetettävät käyttäjäagenttitiedot. |
| CORS- käytäntö | Määrittää, mitkä ulkoiset lähteet voivat käyttää tuettuja päätepisteitä. |
Välimuistin asetukset
| Asetus | Kuvaus |
|---|---|
| Välimuistin taustaohjelma | Valitsee muistin tai Redis-välimuistin. |
| Välimuistin kesto | Määrittää, kuinka kauan luodut reittivastaukset säilyvät välimuistissa. |
| Sisällön välimuistin kesto | Määrittää välimuistiin tallennetun sisällön vanhentumisajan. |
| Muistin välimuistin raja | Määrittää välimuistiin tallennettujen kohteiden enimmäismäärän, kun käytetään muistin välimuistia. |
| Redis-yhteys | Määrittää Redis-palvelun, kun pysyvä välimuisti on käytössä. |
Välityspalvelimen asetukset
| Asetus | Kuvaus |
|---|---|
| Välityspalvelimen osoite | HTTP- tai HTTPS-välipalvelimen osoite. |
| Välityspalvelimen todennus | Välityspalvelimen vaatimat tunnistetiedot. |
| Välityspalvelimen URL-säännöt | Määrittää, mitkä ulkoiset pyynnöt käyttävät välityspalvelinta. |
Kulunvalvonta ja turvallisuus
| Asetus | Kuvaus |
|---|---|
| Pääsynäppäin | Suojaa luodut syötteet todennuksella. |
| Pääsykoodit | Mahdollistaa reittikohtaiset todennetut tilaukset. |
| Ulkoinen pääsykäytäntö | Ohjaa käyttöä ulkoisen käänteisen välityspalvelimen kautta. |
| Luotettu verkko | Rajoittaa pääsyä valtuutettuihin verkkoihin ympäröivän infrastruktuurin kautta. |
Kirjaaminen ja seuranta
| Asetus | Kuvaus |
|---|---|
| Lokitaso | Määrittää luotujen diagnostiikkatietojen määrän. |
| Virheenkorjaustiedot | Ottaa käyttöön reitin lisätiedot vianmääritystä varten. |
| Lokin aikaleimatiedot | Lisää aikaleiman sovelluslokeihin. |
| Virheiden valvonta | Tukee integraatiota ulkoisten virheenvalvontapalveluiden kanssa. |
Tarkat määritysvaihtoehdot riippuvat RSSHub-julkaisusta ja käyttöönoton kokoonpanosta.
Yhteensopivuus RSS-lukijoiden kanssa
RSSHub tuottaa syötteitä, joita voidaan kuluttaa tavallisilla RSS- ja Atom-yhteensopivilla sovelluksilla.
Suosittuja yhteensopivia syötteenlukijoita ovat:
- FreshRSS: Itse isännöity RSS-lukija tilausten järjestämiseen ja päivitysten seuraamiseen.
- Miniflux: Kevyt syötteenlukija, jossa on minimaalinen käyttöliittymä.
- Tiny Tiny RSS: Itse isännöity syötteen aggregaatioalusta.
- NetNewsWire: Natiivi RSS-lukija Applen laitteisiin.
- NewsBlur: Syötteenlukija, jossa on kehittyneitä sisällön löytämisominaisuuksia.
- Feedbro: Selainpohjainen syötteenlukija.
- Seuraa: RSS-lukija, joka on suunniteltu sisällön löytämiseen ja nykyaikaisiin lukutyönkulkuihin.
Työnkulku on yksinkertainen: määritä reitti RSSHubissa, kopioi sen luoma syötteen URL-osoite ja lisää kyseinen URL-osoite tilaukseksi haluamaasi lukijaan.
RSSHub hoitaa sisällön haun ja syötteen luomisen, kun taas syötteenlukija hallinnoi tilauksia ja lukemisen etenemistä.
Hankkeen rajoitukset ja reitin luotettavuus
RSSHub on riippuvainen ulkoisista verkkosivustoista ja palveluista, joista se hakee tietoja.
Toisin kuin natiiviset RSS-syötteet, luodut reitit voivat luottaa HTML-uuttoon, julkisiin rajapintoihin tai verkkosivustokohtaisiin ohjelmointirajapintoihin.
Näin ollen saatavuus voi vaihdella seuraavien seikkojen mukaan:
- Ulkoisten verkkosivujen rakenteiden muutokset.
- API: n muutokset.
- Todentamisvaatimukset.
- Anti-crawling-käytännöt.
- Alueelliset rajoitukset.
- Pyydä kiintiöitä.
- Muutokset julkisen sisällön saatavuuteen.
Kun verkkosivusto muuttaa käyttöliittymää tai käyttöoikeuskäytäntöjä, vastaava silta saattaa lakata toimimasta, kunnes sen toteutus päivitetään.
Jotkin reitit vaativat myös lisätodennusta tai välityspalvelimen määrittämistä.
Tärkeiden tietolähteiden osalta tarkista säännöllisesti, että luodut syötteet palauttavat ajantasaista sisältöä.
Johtopäätös
RSSHub on joustava, avoimen lähdekoodin syötteenmuodostusalusta, joka on suunniteltu tuomaan sisältöä verkkosivustoilta ja verkkopalveluista RSS-ekosysteemiin.
Sen laaja reittikokoelma, muokattavat parametrit, sisällön suodatus, koko tekstin poisto, välimuisti, välityspalvelintuki ja kehittäjän laajennettavuus tarjoavat tehokkaan ratkaisun seuraaville verkkosivustoille, jotka eivät julkaise alkuperäisiä RSS-syötteitä.
Sen integrointi olemassa oleviin syötteiden lukijoihin ja kumppanien löytötyökaluihin helpottaa tietojen keskittämistä eri verkkoalustoilta.
RSSHub on käytännöllinen ratkaisu kehittäjille, tutkijoille, homelab-ylläpitäjille ja kaikille, jotka haluavat keskitetymmän ja muokattavan lähestymistavan verkkosisällön seuraamiseen.

