diff --git a/.gitlab-ci.yml b/.gitlab-ci.yml index 55d3464..159f07d 100644 --- a/.gitlab-ci.yml +++ b/.gitlab-ci.yml @@ -4,12 +4,14 @@ stages: run-build: stage: build - image: rust:latest + image: rust:1.86 before_script: - rustup component add rustfmt - rustup component add clippy + - export LIBXML2=$(pkg-config libxml-2.0 --variable=libdir)/libxml2.so script: - rustc --version && cargo --version + - echo $LIBXML2 - cargo fmt -- --check - cargo clippy --all-targets --all-features -- -D warnings - - cargo build --release --jobs 1 + - cargo build --release diff --git a/.gitmodules b/.gitmodules index 01c5a43..246181d 100644 --- a/.gitmodules +++ b/.gitmodules @@ -1,4 +1,4 @@ [submodule "article_scraper/ftr-site-config"] path = article_scraper/ftr-site-config - url = https://github.com/jangernert/ftr-site-config.git - branch = news-flash + url = https://github.com/fivefilters/ftr-site-config.git + branch = master diff --git a/Cargo.toml b/Cargo.toml index 03f5662..8569ad0 100644 --- a/Cargo.toml +++ b/Cargo.toml @@ -1,6 +1,10 @@ [workspace] +members = ["article_scraper", "article_scraper_cli"] +resolver = "2" -members = [ - "article_scraper", - "article_scraper_cli", -] \ No newline at end of file +[workspace.package] +version = "2.1.2" +authors = ["Jan Lukas Gernert "] +edition = "2021" +license = "GPL-3.0-or-later" +repository = "https://gitlab.com/news-flash/article_scraper" \ No newline at end of file diff --git a/article_scraper/Cargo.toml b/article_scraper/Cargo.toml index 5ff0bac..eeed67c 100644 --- a/article_scraper/Cargo.toml +++ b/article_scraper/Cargo.toml @@ -1,31 +1,33 @@ [package] name = "article_scraper" -version = "2.0.0" -authors = ["Jan Lukas Gernert "] -edition = "2018" -license = "GPL-3.0-or-later" description = "Scrap article contents from the web. Powered by fivefilters full text feed configurations & mozilla readability." -repository = "https://gitlab.com/news-flash/article_scraper" +version.workspace = true +authors.workspace = true +edition.workspace = true +license.workspace = true +repository.workspace = true + readme = "../Readme.md" keywords = ["article", "scrape", "full-text", "readability"] exclude = ["resources/tests"] [dependencies] -thiserror = "1.0" +thiserror = "2.0" libxml = "0.3" -reqwest = { version = "0.11", features = ["json", "native-tls", "gzip", "brotli", "stream"] } -tokio = { version = "1.27", features = ["macros", "fs", "io-util"] } -url = "2.3" -regex = "1.8" +reqwest = { version = "0.12", features = ["stream"] } +tokio = { version = "1", features = ["macros", "fs", "io-util"] } +url = "2.5" +regex = "1.11" encoding_rs = "0.8" chrono = "0.4" -base64 = "0.21" -image = "0.24" +base64 = "0.22" +image = "0.25" log = "0.4" -rust-embed="6.6" -once_cell = "1.17" +rust-embed="8.6" +once_cell = "1.20" escaper = "0.1" futures = "0.3" +unic-emoji-char = "0.9" [dev-dependencies] -env_logger = "0.10" +env_logger = "0.11" diff --git a/article_scraper/ftr-site-config b/article_scraper/ftr-site-config index 40796c9..69aa220 160000 --- a/article_scraper/ftr-site-config +++ b/article_scraper/ftr-site-config @@ -1 +1 @@ -Subproject commit 40796c9a9db47189121e844abbf5d3fbce02c9f5 +Subproject commit 69aa220193d99427d3822fabccdfaeede56cd532 diff --git a/article_scraper/resources/tests/ftr/heise-1/expected.html b/article_scraper/resources/tests/ftr/heise-1/expected.html index 46fb001..b5fed54 100644 --- a/article_scraper/resources/tests/ftr/heise-1/expected.html +++ b/article_scraper/resources/tests/ftr/heise-1/expected.html @@ -122,7 +122,7 @@ - + diff --git a/article_scraper/resources/tests/ftr/spiegel-1/expected.html b/article_scraper/resources/tests/ftr/spiegel-1/expected.html new file mode 100644 index 0000000..42eca1c --- /dev/null +++ b/article_scraper/resources/tests/ftr/spiegel-1/expected.html @@ -0,0 +1,52 @@ +
+
+
+
+ + +»Barbie« soll im Libanon nicht gezeigt werden + +
+
+

»Barbie« soll im Libanon nicht gezeigt werden

+ +Foto:

- / dpa

+ +
+
+
+
+
+

Im Libanon soll der erfolgreiche Hollywood-Streifen »Barbie« verboten werden, weil dieser der Regierung zufolge »Werbung für Homosexualität und Geschlechtsumwandlung« macht. Der Film verstoße gegen die »moralischen und religiösen Werte« des Landes, erklärte der libanesische Kulturminister Mohammed Mourtada. Ursprünglich sollte der Blockbuster, der weltweit bereits mehr als eine Milliarde Dollar (rund 910 Millionen Euro) eingespielt hat, ab dem 31. August im Libanon gezeigt werden.

+
+ +
+

Mourtada erklärte weiter, »Barbie« unterstütze die »Ablehnung der Vormundschaft des Vaters«, ziehe die Rolle der Mutter ins Lächerliche und stelle die Ehe und die Gründung einer Familie infrage.

+
+
+ + +
+ +An dieser Stelle finden Sie einen externen Inhalt von Twitter, +der den Artikel ergänzt und von der Redaktion empfohlen wird. Sie können ihn sich mit einem Klick anzeigen lassen +und wieder ausblenden. +
+ +
+

In dem Film von US-Regisseurin Greta Gerwig verlassen Barbie und Ken, gespielt von den Superstars Margot Robbie und Ryan Gosling, die pinkfarbene Plastikwelt Barbieland und lernen in Los Angeles das echte Leben kennen.

+
+ +
+

Community unter Druck

Der Libanon gilt in Bezug auf Homosexualität als toleranter als andere arabische Staaten. Allerdings haben religiöse Organisationen wie die radikalislamische Hisbollah einen großen Einfluss auf soziale und kulturelle Einrichtungen.

Immer wieder wurden in den vergangenen Jahren Veranstaltungen der libanesischen LGBTQ+-Community abgesagt. Zudem steht Homosexualität im Libanon nach wie vor unter Strafe.

+
+ + +
+

Die englische Abkürzung LGBTQ+ steht für lesbisch, schwul, bisexuell, transgender, queer und andere Geschlechtsidentitäten.

+ +
+
+ +
+
\ No newline at end of file diff --git a/article_scraper/resources/tests/ftr/spiegel-1/source.html b/article_scraper/resources/tests/ftr/spiegel-1/source.html new file mode 100644 index 0000000..5cf86d8 --- /dev/null +++ b/article_scraper/resources/tests/ftr/spiegel-1/source.html @@ -0,0 +1,3988 @@ + + +Libanon: Regierung will »Barbie«-Ausstrahlung verbieten - DER SPIEGEL + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + +
+ + + + +
+
+
+
+ +
+
+
+ + +
+
+
+
+
+
+

+ +Absage an erfolgreichen Blockbuster + +Libanesische Regierung will »Barbie«-Ausstrahlung verbieten + +

+
+Kein pinkes Hollywood-Spektakel im Libanon – der geplante Kinostart von »Barbie« soll in dem Land abgesagt werden. Begründung: Der Film mache angeblich Werbung für Homosexualität und Geschlechtsumwandlung. +
+
+ +
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
    +
  • + +
    • +
+ +
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+ + +»Barbie« soll im Libanon nicht gezeigt werden + +
+ +
+
+

»Barbie« soll im Libanon nicht gezeigt werden

+ +Foto:

- / dpa

+ +
+
+
+
+
+
+
+

Im Libanon soll der erfolgreiche Hollywood-Streifen »Barbie« verboten werden, weil dieser der Regierung zufolge »Werbung für Homosexualität und Geschlechtsumwandlung« macht. Der Film verstoße gegen die »moralischen und religiösen Werte« des Landes, erklärte der libanesische Kulturminister Mohammed Mourtada. Ursprünglich sollte der Blockbuster, der weltweit bereits mehr als eine Milliarde Dollar (rund 910 Millionen Euro) eingespielt hat, ab dem 31. August im Libanon gezeigt werden.

+
+
+
+
+ +
+
+
+
+

Mourtada erklärte weiter, »Barbie« unterstütze die »Ablehnung der Vormundschaft des Vaters«, ziehe die Rolle der Mutter ins Lächerliche und stelle die Ehe und die Gründung einer Familie infrage.

+
+
+
+
+
+ +
+ +
+
+
+
+Empfohlener externer Inhalt +
+
+
+
+An dieser Stelle finden Sie einen externen Inhalt von Twitter, +der den Artikel ergänzt und von der Redaktion empfohlen wird. Sie können ihn sich mit einem Klick anzeigen lassen +und wieder ausblenden. +
+
+ + +Externer Inhalt + +
+

+Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. + +Mehr dazu in unserer Datenschutzerklärung. + +

+
+ +
+
+
+
+
+
+

In dem Film von US-Regisseurin Greta Gerwig verlassen Barbie und Ken, gespielt von den Superstars Margot Robbie und Ryan Gosling, die pinkfarbene Plastikwelt Barbieland und lernen in Los Angeles das echte Leben kennen.

+
+
+
+
+ +
+
+
+
+

Community unter Druck

Der Libanon gilt in Bezug auf Homosexualität als toleranter als andere arabische Staaten. Allerdings haben religiöse Organisationen wie die radikalislamische Hisbollah einen großen Einfluss auf soziale und kulturelle Einrichtungen.

Immer wieder wurden in den vergangenen Jahren Veranstaltungen der libanesischen LGBTQ+-Community abgesagt. Zudem steht Homosexualität im Libanon nach wie vor unter Strafe.

+
+
+
+
+ +
+
+
+ +
+
+
+

Die englische Abkürzung LGBTQ+ steht für lesbisch, schwul, bisexuell, transgender, queer und andere Geschlechtsidentitäten.

+ + +
+
+
+
+
atb/AFP
+
+
+
+
+
+ +
+
+
+
+
+
+
+ +
+
+
+
+
+

Mehr lesen über

+
+ +
+
+ +Libanon + + +Barbie + + +LGBTQ+ + + +Hollywood + + +Margot Robbie + + +Ryan Gosling + + +Hisbollah + +
+
+
+ + + + + +
+
+
+
+

Verwandte Artikel

+ +
+
+ + +
+
+
+
+ + +
+ +
+
+
+
+
+
+
+
+
+ +
+
+
+
+
+
+
+Die Wiedergabe wurde unterbrochen. +
+ +
+
+
+
+ +
+ +
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ +
+
+
+ +
+
+
+
+
+
+
+
+
+ +
+
+ + + + +
+ + +
+
+
+
+
+
+
+
+ + + +
+
+
+
+ +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Playlist +
+ +
+
+ + + +
+
+Speichern Sie Audioinhalte in Ihrer Playlist, um sie später zu hören oder offline abzuspielen. Zusätzlich können Sie Ihre Playlist über alle Geräte mit der SPIEGEL-App synchronisieren, auf denen Sie mit Ihrem Konto angemeldet sind. +
+ + +Anmelden oder Konto erstellen + + + + +
+
+
+ +
+
+
+
+
+
+
+Merkliste +
+ +
+
+ + + +
+
+Speichern Sie Ihre Lieblingsartikel in der persönlichen Merkliste, um sie später zu lesen und einfach wiederzufinden. +
+ + +Anmelden oder Konto erstellen + + + + +
+
+
+
+
+
+
+
+
+Mehrfachnutzung erkannt +
+ +
+
+ + + +
+
+Bitte beachten Sie: Die zeitgleiche Nutzung von SPIEGEL+-Inhalten ist auf ein Gerät beschränkt. +Wir behalten uns vor, die Mehrfachnutzung zukünftig technisch zu unterbinden. +
+ +
+Sie möchten SPIEGEL+ auf mehreren Geräten zeitgleich nutzen? + +Zu unseren Angeboten + +
+
+
+
+
+
+ + +
+ + + + + + + + + + + \ No newline at end of file diff --git a/article_scraper/resources/tests/ftr/youtube/expected.html b/article_scraper/resources/tests/ftr/youtube/expected.html index 1213034..e05d2c2 100644 --- a/article_scraper/resources/tests/ftr/youtube/expected.html +++ b/article_scraper/resources/tests/ftr/youtube/expected.html @@ -1 +1 @@ -
\ No newline at end of file +
\ No newline at end of file diff --git a/article_scraper/resources/tests/readability/bug-1255978/expected.html b/article_scraper/resources/tests/readability/bug-1255978/expected.html index 12043fb..bcd0d9f 100644 --- a/article_scraper/resources/tests/readability/bug-1255978/expected.html +++ b/article_scraper/resources/tests/readability/bug-1255978/expected.html @@ -27,7 +27,18 @@

Forrest Jones said that anything that comes into contact with any of the previous guest’s skin should be taken out and washed every time the room is made, but that even the fanciest hotels don’t always do so. "Hotels are getting away from comforters. Blankets are here to stay, however. But some hotels are still hesitant about washing them every day if they think they can get out of it," he said.

- +
+ + + + +

Play Video

+ + + + + +

Video shows bed bug infestation at New York hotel

diff --git a/article_scraper/resources/tests/readability/embedded-videos/expected.html b/article_scraper/resources/tests/readability/embedded-videos/expected.html index 690b431..c520e7f 100644 --- a/article_scraper/resources/tests/readability/embedded-videos/expected.html +++ b/article_scraper/resources/tests/readability/embedded-videos/expected.html @@ -8,13 +8,13 @@ proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

At root

- - - + + +

In a paragraph

- +

In a div

- +

Foo

Tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, diff --git a/article_scraper/resources/tests/readability/engadget/expected.html b/article_scraper/resources/tests/readability/engadget/expected.html index a112ae2..ed29aa5 100644 --- a/article_scraper/resources/tests/readability/engadget/expected.html +++ b/article_scraper/resources/tests/readability/engadget/expected.html @@ -250,7 +250,9 @@ capable HDR 10 standard. That makes sense since it's more widely supported, but it would have been nice to see Dolby's, too.

- +

+ +

And speaking of Dolby technology, Microsoft is also highlighting Atmos support on the One X, just like it did with the One S. The company's app lets you diff --git a/article_scraper/resources/tests/readability/firefox-nightly-blog/expected.html b/article_scraper/resources/tests/readability/firefox-nightly-blog/expected.html index 77e6e10..28cc0c9 100644 --- a/article_scraper/resources/tests/readability/firefox-nightly-blog/expected.html +++ b/article_scraper/resources/tests/readability/firefox-nightly-blog/expected.html @@ -16,7 +16,7 @@