93 lines
5.1 KiB
Markdown
93 lines
5.1 KiB
Markdown
|
---
|
|||
|
|
title: Flink Batch Example JAVA
|
|||
|
|
localeTitle: Пример последовательности Flink JAVA
|
|||
|
|
---
|
|||
|
|
## Пример последовательности Flink JAVA
|
|||
|
|
|
|||
|
|
Apache Flink - это платформа обработки потоков с открытым исходным кодом с мощными возможностями потоковой обработки и пакетной обработки.
|
|||
|
|
|
|||
|
|
### Предпосылки
|
|||
|
|
|
|||
|
|
* Unix-подобная среда (Linux, Mac OS X, Cygwin)
|
|||
|
|
* мерзавец
|
|||
|
|
* Maven (рекомендуется версия 3.0.4)
|
|||
|
|
* Java 7 или 8
|
|||
|
|
* IntelliJ IDEA или Eclipse IDE
|
|||
|
|
```
|
|||
|
|
git clone https://github.com/apache/flink.git
|
|||
|
|
cd flink
|
|||
|
|
mvn clean package -DskipTests # this will take up to 10 minutes
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### Datasets
|
|||
|
|
|
|||
|
|
Для данных пакетной обработки мы будем использовать наборы данных здесь: [наборы данных](http://files.grouplens.org/datasets/movielens/ml-latest-small.zip) В этом примере мы будем использовать movies.csv и ratings.csv, создать новый проект java и поместить их в папку в базе приложения.
|
|||
|
|
|
|||
|
|
### пример
|
|||
|
|
|
|||
|
|
Мы собираемся выполнить казнь, где мы получаем средний рейтинг по жанрам фильмов всего набора данных, который у нас есть.
|
|||
|
|
|
|||
|
|
**Окружающая среда и наборы данных**
|
|||
|
|
|
|||
|
|
Сначала создайте новый файл Java, я назову его AverageRating.java
|
|||
|
|
|
|||
|
|
Первое, что мы сделаем, это создать среду выполнения и загрузить файлы csv в наборе данных. Как это:
|
|||
|
|
```
|
|||
|
|
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
|
|||
|
|
DataSet<Tuple3<Long, String, String>> movies = env.readCsvFile("ml-latest-small/movies.csv")
|
|||
|
|
.ignoreFirstLine()
|
|||
|
|
.parseQuotedStrings('"')
|
|||
|
|
.ignoreInvalidLines()
|
|||
|
|
.types(Long.class, String.class, String.class);
|
|||
|
|
|
|||
|
|
DataSet<Tuple2<Long, Double>> ratings = env.readCsvFile("ml-latest-small/ratings.csv")
|
|||
|
|
.ignoreFirstLine()
|
|||
|
|
.includeFields(false, true, true, false)
|
|||
|
|
.types(Long.class, Double.class);
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
Там мы делаем набор данных с для фильмов, игнорирование ошибок, кавычек и строки заголовка, а также набор данных с для рейтингов фильмов, также игнорируя заголовок, недопустимые строки и цитаты.
|
|||
|
|
|
|||
|
|
**Флинковая обработка**
|
|||
|
|
|
|||
|
|
Здесь мы будем обрабатывать набор данных с помощью flink. Результат будет в List of String, Double tuples. где жанр будет в String, а средний рейтинг будет в двойном.
|
|||
|
|
|
|||
|
|
Сначала мы присоединяемся к набору данных рейтингов с набором данных для фильмов, представленным moviesId в каждом наборе данных. С этим мы создадим новый Tuple с названием фильма, жанром и партитурой. Позже мы группируем этот кортеж по жанру и добавляем оценку всех равных жанров, и, наконец, мы делим счет на общие результаты, и у нас есть желаемый результат.
|
|||
|
|
```
|
|||
|
|
List<Tuple2<String, Double>> distribution = movies.join(ratings)
|
|||
|
|
.where(0)
|
|||
|
|
.equalTo(0)
|
|||
|
|
.with(new JoinFunction<Tuple3<Long, String, String>,Tuple2<Long, Double>, Tuple3<StringValue, StringValue, DoubleValue>>() {
|
|||
|
|
private StringValue name = new StringValue();
|
|||
|
|
private StringValue genre = new StringValue();
|
|||
|
|
private DoubleValue score = new DoubleValue();
|
|||
|
|
private Tuple3<StringValue, StringValue, DoubleValue> result = new Tuple3<>(name,genre,score);
|
|||
|
|
|
|||
|
|
@Override
|
|||
|
|
public Tuple3<StringValue, StringValue, DoubleValue> join(Tuple3<Long, String, String> movie,Tuple2<Long, Double> rating) throws Exception {
|
|||
|
|
name.setValue(movie.f1);
|
|||
|
|
genre.setValue(movie.f2.split("\\|")[0]);
|
|||
|
|
score.setValue(rating.f1);
|
|||
|
|
return result;
|
|||
|
|
}
|
|||
|
|
})
|
|||
|
|
.groupBy(1)
|
|||
|
|
.reduceGroup(new GroupReduceFunction<Tuple3<StringValue,StringValue,DoubleValue>, Tuple2<String, Double>>() {
|
|||
|
|
@Override
|
|||
|
|
public void reduce(Iterable<Tuple3<StringValue,StringValue,DoubleValue>> iterable, Collector<Tuple2<String, Double>> collector) throws Exception {
|
|||
|
|
StringValue genre = null;
|
|||
|
|
int count = 0;
|
|||
|
|
double totalScore = 0;
|
|||
|
|
for(Tuple3<StringValue,StringValue,DoubleValue> movie: iterable){
|
|||
|
|
genre = movie.f1;
|
|||
|
|
totalScore += movie.f2.getValue();
|
|||
|
|
count++;
|
|||
|
|
}
|
|||
|
|
|
|||
|
|
collector.collect(new Tuple2<>(genre.getValue(), totalScore/count));
|
|||
|
|
}
|
|||
|
|
})
|
|||
|
|
.collect();
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
При этом у вас будет работающее приложение для обработки пакетной обработки. Наслаждаться!.
|