Deutsche Version weiter unten

In today’s interview we talked with Valerio Lorini from the Joint Research Centre of the European Commission about his project FIUME. Behind the Italian word for river hides the full project name “Flood risk and Impact in Urban areas using social Media”. The exploratory research activity aims at extracting valuable information about damages or disruptions to people, services and infrastructures during floods or storms in urban areas. To do so, they are building machine-learning models to classify tweets related to such events for the two pilot cities Barcelona and Sao Paulo.

What are your motivations using Citizen Science for your project?

Valerio Lorini: We take three steps for building our machine-learning models. First, we collect data that was published in previous urban floods and anonymize them because respect of privacy is of the utmost importance. Therefore, we only use publicly available data. Second, we annotate the collected data according to the type of impact. For example, a mention of a road blockage is labeled as impact on infrastructures. This task is done with the support of a community of experts in the domain of disaster risk reduction. And third, based on the annotations we train our model using a so-called neural network.

What are your experiences with Citizen Science so far? What works well and what are the biggest challenges?

Valerio Lorini: To annotating the data we use the CS Project Builder platform provided by the Citizen Science Center Zurich. We asked practitioners in the field of emergency response to use the platform for reading the tweets and answering some questions that can help labelling the data. The biggest challenge, according to the annotators, has been some hiccups due to the set-up of the interface when many annotators were active at the same time* and to keep the community motivated. Overall, the system worked well, we annotated 12.000 messages, each time 6K for Barcelona and for Sao Paulo.

One challenge we often encounter in Citizen Science is to build and sustain a community around a project. How do you manage to do so?

Valerio Lorini: In our case, the community is already established. Our community are the members of VOST Europe – the federation of Virtual Operations Support Teams across Europe. It unites citizens from different countries offering their time volunteering for sharing correct information about emergencies on the internet. All with the objective to have a society that is more prepared, informed and resilient to natural disasters.

You are using our CS Project Builder. What are your experiences with it?

Valerio Lorini: It is a promising tool that makes it easy to build an annotation system in only a few steps. It would be great to have the possibility to customize it even more, for example adding counters. 

What are the next steps in your project?

Valerio Lorini: Now that we have the annotated data we are training our machine-learning models and testing them on real time events. An iterative path will continue with trial and errors until we have a model with the desired accuracy.

Anything else you would like to add?

Keep up the great work. While using the platform I became aware of other projects too and I even participated to some of them.

Great, we’re happy to hear that and are glad you used our CS Project Builder for your valuable project! Thank you very much for your time and we are looking forward to updates on your machine-learning models.

*Note: The new version of the platform, coming up in a few weeks, will correct for such scalability issues and be ready to welcome hundreds of users at the same time!

Deutsche Version

Interview mit Valerio Lorini: Auswirkungen von Überschwemmungen in städtischen Gebieten erkennen

Im heutigen Interview haben wir mit Valerio Lorini vom Joint Research Centre der Europäischen Kommission gesprochen. Er stellt sein Projekt FIUME vor. Hinter dem italienischen Wort für Fluss verbirgt sich der vollständige Projektname «Flood risk and Impact in Urban areas using social Media». Das explorative Forschungsprojekt untersucht welche Schäden Überschwemmungen oder Stürme in städtischen Gebieten anrichten. Dazu erstellen sie Machine-Learning-Modelle zur Klassifizierung von Tweets, die sich auf solche Ereignisse beziehen. Pilotstädte sind Barcelona und Sao Paulo.

Warum setzen Sie in Ihrem Projekt Citizen Science ein?

Valerio Lorini: Um unsere Machine-Learning-Modelle zu erstellen, gehen wir in drei Schritten vor. Zunächst sammeln wir Daten, die bei früheren städtischen Überschwemmungen veröffentlicht wurden und anonymisieren diese. Der Schutz der Privatsphäre ist uns sehr wichtig, daher verwenden wir nur öffentlich verfügbare Daten. In einem zweiten Schritt kennzeichnen wir die gesammelten Daten entsprechend der Art der Auswirkung. Wird beispielsweise eine Strassensperrung in einem Tweet erwähnt, dann wird dieser als Auswirkung auf die Infrastruktur klassifiziert. Diese Aufgabe wird mit Unterstützung von Expert*innen aus der Katastrophenvorsorge durchgeführt. Auf Basis dieser Daten werden unsere Modelle im letzten Schritt mit einem sogenannten «neural network» trainiert.

Was sind Ihre bisherigen Erfahrungen mit Citizen Science? Was funktioniert gut, was sind die grössten Herausforderungen?

Valerio Lorini: Um die Daten zu annotieren, nutzen wir die «CS Project Builder»-Plattform, die vom Citizen Science Center Zurich zur Verfügung gestellt wird. Wir haben Praktiker aus dem Bereich der Notfallhilfe gebeten, die Plattform zu nutzen, um die Tweets zu lesen und einige Fragen zu beantworten, die bei der Beschriftung der Daten helfen können. Die grösste Herausforderung laut den Teilnehmenden waren kleinere technische Probleme sobald eine grosse Anzahl gleichzeitig aktiv war*. Auch herausfordernd war es, die Motivation der Community aufrecht zu erhalten. Insgesamt hat alles gut funktioniert und wir haben 12’000 Nachrichten klassifiziert, jeweils je die Hälfte für Barcelona und für Sao Paulo.

Eine Herausforderung, die wir bei Citizen Science oft beobachten, ist es, eine Community aufzubauen und zu motivieren. Wie haben Sie dies gemeistert?

Valerio Lorini: In unserem Fall existierte die Community bereits. Unsere Community besteht aus Mitgliedern von VOST Europa – dem Zusammenschluss von «Virtual Operations Support Teams» in ganz Europa. VOST Europa vereint Bürger*innen aus verschiedenen Ländern, die ehrenamtlich mithelfen, korrekte Informationen über Naturkatastrophen zu teilen.

Sie nutzen unseren CS Project Builder. Was sind Ihre Erfahrungen damit?

Valerio Lorini: Es ist ein vielversprechendes Tool, mit dem man in wenigen Schritten ein Annotationssystem aufbauen kann. Es könnten noch gewisse zusätzliche Funktionen eingebaut werden.

Was sind die nächsten Schritte in Ihrem Projekt?

Valerio Lorini: Jetzt, da wir die annotierten Daten haben, trainieren wir unsere Machine-Learning-Modelle und testen sie an Echtzeit-Ereignissen. Wir wenden die «trial and error»-Methode an, bis wir ein Modell mit der gewünschten Genauigkeit haben.

Gibt es noch etwas, das Sie gerne hinzufügen möchten?

Valerio Lorini: Macht weiter so mit der tollen Arbeit! Durch die Nutzung der Plattform bin ich auch auf andere Projekte aufmerksam geworden und habe mich sogar an einigen beteiligt.  

Toll, das freut uns zu hören und wir sind froh, dass Sie unseren CS Project Builder für Ihr wertvolles Projekt genutzt haben! Vielen Dank für Ihre Zeit und wir freuen uns auf Updates zu Ihren Machine-Lerning-Modellen.

*Hinweis: Die neue Version der Plattform, die in einigen Wochen online geht, wird solche Skalierbarkeitsprobleme beheben und bereit sein, Hunderte von Benutzer*innen gleichzeitig zu begrüssen!