Blog der SHI GmbH

Apache Solr DocTransformer – So einfach lässt sich die Trefferliste aufwerten

Von Markus Klose I 09 September 2016
Veröffentlicht in , ,

Die Qualität einer Suche hängt von der Trefferliste ab. Selbstverständlich erwartet der Anwender das „richtige“ Dokument an erster Stelle. Aber auch die Informationen, die in der Trefferliste je Dokument angeboten werden, sind wichtig. Bisher musste man alle Informationen, die man in der Trefferliste anzeigen möchte, auch im Index ablegen. Dies führt zu einem größeren Index, […]

Blog der SHI GmbH

Apache Solr 6.2

Von Markus Klose I 09 September 2016
Veröffentlicht in ,

Veröffentlicht am 09.09.2016 von Markus Klose Vor circa einer Woche, am 25. August 2016, wurde die neue Version 6.2 von Apache Solr veröffentlicht. Enthalten ist wie immer eine Reihe von Verbesserungen, Bugfixes und neuen Features. Eine der Neuerungen im neuen Release ist der Upgrade der Apache Tika Version von 1.7 nach 1.13. Somit unterstützt Apache […]

Blog der SHI GmbH

Apache NiFi MiNiFi – Agenten für die Daten-Extraktion

Von Markus Klose I 30 August 2016
Veröffentlicht in , ,

Veröffentlicht am 30.08.2016 von Markus Klose Apache NiFi MiNiFi. Hierbei handelt es sich nicht um einen Tippfehler, sondern um den Namen eines Unterprojektes von „Apache NiFi“, welches am 10.06.2016 in der Version 0.0.1 veröffentlicht worden ist. Mit Apache NiFi MiNiFi werden sogenannte Agenten für die Daten-Extraktion möglich. Agenten sind leichtgewichtige Programme mit der Aufgabe Daten […]

Blog der SHI GmbH

Neuer Release von Apache NiFi auf Version 0.7.0

Von Daniel Fuckner I 02 August 2016
Veröffentlicht in ,

Am 12. Juli 2016 wurde die Version 0.7.0 von Apache NiFi veröffentlicht, das auf Grund seiner einfachen Bedienbarkeit, seiner Performanz und seiner Datensicherheit zunehmend im Big Data Kontext und darüber hinaus Verwendung findet. Apache NiFi ermöglicht es, Workflows zu generieren, um Daten zu extrahieren, zu transformieren und weiterzuschicken. Darüber hinaus eignet sich NiFi, zum Monitoren […]

Blog der SHI GmbH

Solr 6.1 – Backup und Restore jetzt auch für SolrCloud

Von Patricia Kraft I 25 Juli 2016
Veröffentlicht in ,

Ausfallsicherheit ist eines der wichtigsten Kriterien für die Wahl einer SolrCloud-Lösung statt der Nutzung der Solr-Single-Core-Variante. Durch das Hinzufügen von Replikas lassen sich die Indizes der einzelnen Shards einer Collection duplizieren und sichern damit die Daten für den Fall, dass ein Solr-Knoten ausfällt. Doch was, wenn gezielt ein bestimmter Zustand der SolrCloud gesichert werden soll, […]

Blog der SHI GmbH

Solr 6.1 Feature-Test

Von Patricia Kraft I 29 Juni 2016
Veröffentlicht in ,

Solr 6.1 Feature-Test – Mehr Toleranz bei Updateprozessoren TolerantUpdateProcessor Seit Mitte Juni steht Solr in der Version 6.1.0 zum Download bereit. Da es sich nur um ein Minor Release handelt, halten sich die Neuerungen in Grenzen. Ein zusätzliches Feature verdient es dennoch, erwähnt zu werden – die TolerantUpdateProcessorFactory. Wie der Name schon verrät handelt es […]

Blog der SHI GmbH

Cross Collection Data Shifting

Von Patricia Kraft I 18 Mai 2016
Veröffentlicht in ,

Wie bereits in vorangegangenen Blogbeiträgen vorgestellt, bietet Solr 6 einige neue Features. Außer der neuen SQL-Suchsyntax, dem neuen Scoring-Algorithmus und der Möglichkeit zur Graphentraversierung wurde auch die Streaming API um einige Befehle erweitert. Hinzugekommen sind unter anderem verteilte Joins und ein Ausdruck update zum Aktualisieren einer Collection in der SolrCloud. Funktionalität und Vorteile Über https://host:port/solr/stream?update(destCollection, […]

Blog der SHI GmbH

Fusion 2.3

Von Daniel Wrigley I 09 Mai 2016
Veröffentlicht in , ,

In diesen Tagen wird ein neues Minor-Release von Lucidworks Fusion veröffentlicht. Dieses bietet neben allgemeinen Verbesserungen natürlich auch einige Ansätze, die widerspiegeln was aktuelle Trends im Bereich Search und Big Data im Allgemeinen sind: Datenmodellierung, Indexierung von zeitbasierten Daten (Log-Events, von Usern generierte Daten, Tweets etc.) und bessere Integration von Tools im Bereich Machine Learning. […]

Blog der SHI GmbH

Scoring BM25

Von Markus Klose I 06 Mai 2016
Veröffentlicht in , ,

Das Release 6.0 von Apache Solr ist nun seit kurzem veröffentlicht. Mit dieser Version gibt es einige neue Funktionalitäten, aber auch einige teils gravierende Änderungen bestehender Funktionalitäten. Eine dieser Änderungen betrifft das Scoring. In Solr 6.0 ist der Default des Scoring-Mechanismus von der TF-IDF-Berechnung auf BM25 umgestellt worden.Im Januar hat meine Kollegin Patricia Kaufmann bereits […]

Blog der SHI GmbH

Wildcard-Suchen und Stemmer

Von Patricia Kraft I 07 April 2016
Veröffentlicht in ,

Warum sind Wildcard-Suchen und Stemmer teilweise inkompatibel? Mittels des Einsatzes von Wildcards können Suchen erweitert werden. Apache Solr unterstützt verschiedene Varianten von Wildcards. Beispielsweise kann mit variablen Buchstaben innerhalb eines Worts gesucht werden. Eine Suche nach w?ld führt beispielsweise zu Treffern bei Dokumenten, in denen die Begriffe wild oder wald vorkommen.Ein weiterer typischer Einsatz von […]