SHI GmbH Augsburg - Ihr Starker Partner für Search & Big Data, Apache Solr, IT Commerce Lösungen

SHI - Support und Service
SHI - Support und Service
Wir sind Dienstleister aus Leidenschaft und verstehen unsere Kunden.
Nach dem Projekt ist vor dem Projekt und individuelle, persönliche
Betreuung stehen bei uns ganz weit oben.
SHI - Fast Forward to Success
SHI - Fast Forward to Success
Geschwindigkeit zählt. Bei den Kosten und bei den Erfolgsaussichten.
Bei uns sorgen professionelles Projektmanagement und modulare Entwicklung
für Ihren raschen und effizienten Software-Projekterfolg.
SHI - Beratung  Entwicklung  Consulting
SHI - Beratung Entwicklung Consulting
Wir beraten unterstützen Sie mit Schulungen, Trainings und Consulting. Von der Strategieberatung bis zur Anwendungsentwicklung helfen wir Ihnen bei der Optimierung Ihrer
Geschäftsprozesse.
SHI - Individuelle Anwendungen aus Software-Bausteinen
SHI - Individuelle Anwendungen aus Software-Bausteinen
Bei uns bekommen Sie weder Software von der Stange, noch unerprobte Eigenentwicklungen. Wir setzen auf bewährte Open-Source-Technologien und setzen Ihre individuelle Anwendung
aus passenden
Bausteinen zusammen.
SHI - Apache Solr Beratung
SHI - Apache Solr Beratung
Professionelle Beratung rund um Apache Solr - Wir unterstützen Sie vor, während und nach Ihrem Projekt.
SHI - Training
SHI - Training
Schneller am Ziel - Search & Big Data Lösungen erfolgreich entwickeln und betreiben.
SHI - Migration
SHI - Migration
Steigen Sie jetzt auf die Open Source Plattform Apache Solr oder die professionelle Distribution Lucidworks Fusion um
SHI - Integration
SHI - Integration
Insbesondere Big Data Lösungen sind nur mit Integration zahlreicher Plattformen realisierbar: Apache Solr, Hadoop, Mahout, Stanbol, HBase, ZooKeeper, Pig und viele andere mehr.

Universal AJAX Live Search

Schaut man sich die Webseite https://nifi.apache.org/ an, findet man direkt folgende Beschreibung: „Apache nifi is an easy to use, powerful, and reliable system to process and distribute data.“. Apache nifi ist also ein Framework, mit dem komplexe Datenworkflows (Dataflows) umgesetzt werden können.

 

Was sind Dataflows?

Egal ob im privaten oder im beruflichen Leben überall trifft man auf Dataflows. Landet beispielsweise eine E-Mail in Postfach wird Sie gelesen und anschließend entweder gelöscht oder in einen anderen Ordner verschoben. Ob dies nun manuell oder durch automatische Regeln passiert ist egal. Beides sind Dataflows, also eine Prozesse, die Daten entgegen nehmen, verarbeiteten und weiterleiten.


E-Mail Archivierung ist nur ein einfaches Beispiel eines Workflows. Fast jede BI Applikation basiert auf ETL (Extract Transform Load) Prozessen. Diese Prozesse verarbeiten verschiedenste Datenquellen (Extract), wenden spezielle Logik auf die Daten an (Transform) und stellen diese Daten Analyse- bzw. Reporting-Tools zur Verfügung (Load). BI Applikationen nutzen also Dataflows um beispielsweise Geschäftsabläufe zu optimieren oder das Kundenverhalten auszuwerten um Kosten zu senken, Risiken zu minimieren und die Gewinne zu vergrößern. Und Apache nifi kann genau hier eingesetzt werden.

 

Was kann Apache NiFi?

Apache nifi kann Daten nicht nur aus unterschiedlichen Quellen einsammeln, sondern bietet im Standardumfang auch zahlreiche Transformations-Möglichkeiten und viele unterschiedliche Ausgabekanäle.


Was Apache nifi direkt sympathisch macht, ist das User-Interface, über das man die sogenannten Dataflows konfigurieren, starten und überwachen kann. Es ist sehr einfach und intuitiv aufgebaut und dabei sehr flexibel und übersichtlich. Folgender Screenshot zeigt ein Bespiel eines Dataflows.
 

apache nifi


Aber auch auf einem zweiten und dritten Blick überzeugt Apache nifi, denn es besteht nicht nur aus einer Oberfläche, sondern hat auch einiges unter der Haube. Zu den wichtigsten Funktionalitäten von Apache nifi zählen unter anderem:

  • Hohe Konfigurierbarkeit – einzelne Komponenten, wie Prozessoren können per Drag & Drop platziert und miteinander kombiniert werden.
  • Flexibilität – der Dataflow kann zur Laufzeit modifiziert werden.
  • Integriertes Fehler-Handling – jeder einzelne Schritt prüft das Ergebnis der Verarbeitung und markiert das entsprechende Objekt.
  • Skalierbarkeit – Apache nifi kann als Cluster konfiguriert werden und ermöglicht so einen größeren Durchsatz.
  • Sicherheit – Sichere Kommunikation (SSL, SSH, verschlüsselter Inhalt) und ein optionaler Authentifizierungs-Mechanismus sorgen dafür, dass die Daten und der Dataflow vor unbefugtem Zugriff geschützt wird.
  • Erweiterbar – Es können eigene Prozessoren entwickelt und implementiert werden


Warum ist Apache NiFi für uns interessant?

Bei unseren Projekten geht es sehr oft um die Durchsuchbarkeit von Daten, d.h. irgendwelche Daten sollen in einem Such-Server wie Solr indexiert werden.


Apache nifi bringt direkt schon eine Verbindung zu Apache Solr mit. Apache Solr ist einer der besten Open Source Such-Server, die es gibt, und wir nutzen Apache Solr in einem Großteil unserer Projekte. Apache nifi nimmt uns somit gleich schon einen Teil – die Indexierung – bei unseren Projekten ab. Wir müssen uns also nur noch auf die Datenakquise und die Datenverarbeitung konzentrieren. Und auch hier kommt uns Apache nifi sehr gelegen, da nur etwas Java Code benötigt wird, um eigene Funktionalitäten zu implementieren.


Wie bereits weiter oben beschrieben, ermöglicht uns Apache nifi mit Hilfe des User Interfaces schnell und intuitiv Dataflows zu erstellen, zu nutzen und zu überwachen. Man kann also so ziemlich jede Datenquelle anzapfen und in Solr indexieren.
 

Apache nifi solr


Apache nifi versteht sich nicht als Connector-Framework, für das wir es unter anderem gebrauchen. Daher ist die Auswahl der Prozessoren die Daten anliefern bzw. auslesen noch beschränkt. Die Anzahl solcher Prozessoren wird aber stetig wachsen und somit wird Apache nifi für unseren UseCase der Indexierung immer wertvoller.


Potenzial von Apache NiFi

Dass ziemlich viel Potenzial in Apache nifi steckt, hat auch unser Partner Hortonworks erkannt. Hortonworks stellt eine BigData Plattform (HDP) bereit, die sich auf Apache Hadoop und andere zugehörige Apache Projekte, wie Beispielsweise Hive, Pig oder Solr konzentriert. Apache nifi ergänzt seit kurzem dieses Angebot. Hortonworks hat Apache nifi nicht nur in den bestehenden Software-Stack eingebaut, sondern hat um Apache nifi ein komplett eigenständiges Tool “Hortonworks DataFlow” (HDF) entwickelt. Folgendes Bild zeigt die die Integration von Apache nifi (HDF) in die Landschaft von Hortonworks.
 

Apache nifi Potenzial


Durch die Aufnahme von nifi in das Produktangebot von Hortonworks ist zukünftig auch sichergestellt, dass eine stetige Weiterentwicklung und Optimierung stattfinden wird.

SEARCH & BIG DATA, BERATUNG, SCHULUNG, ENTWICKLUNG, SUPPORT, PUBLISHER SOLUTIONS
MIT APACHE SOLR, LUCENE, ELASTICSEARCH, SMARTLOGIC SEMAPHORE, SHI INFOPILOT