ch9/Flink概述与源码研读准备.html


<!DOCTYPE HTML>
<html lang="" >
    <head>
        <meta charset="UTF-8">
        <meta content="text/html; charset=utf-8" http-equiv="Content-Type">
        <title>Flink概述与源码研读准备 · GitBook</title>
        <meta http-equiv="X-UA-Compatible" content="IE=edge" />
        <meta name="description" content="">
        <meta name="generator" content="GitBook 3.2.3">
        
        
    <link rel="stylesheet" href="../gitbook/style.css">

    
                <link rel="stylesheet" href="../gitbook/gitbook-plugin-highlight/website.css">
                
            
                <link rel="stylesheet" href="../gitbook/gitbook-plugin-search/search.css">
                
            
                <link rel="stylesheet" href="../gitbook/gitbook-plugin-fontsettings/website.css">
                
            
    <meta name="HandheldFriendly" content="true"/>
    <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no">
    <meta name="apple-mobile-web-app-capable" content="yes">
    <meta name="apple-mobile-web-app-status-bar-style" content="black">
    <link rel="apple-touch-icon-precomposed" sizes="152x152" href="../gitbook/images/apple-touch-icon-precomposed-152.png">
    <link rel="shortcut icon" href="../gitbook/images/favicon.ico" type="image/x-icon">

    
    <link rel="next" href="从源码构建Flink.html" />
    
    
    <link rel="prev" href="install.html" />
    

    </head>
    <body>
        
<div class="book">
    <div class="book-summary">
        
            
<div id="book-search-input" role="search">
    <input type="text" placeholder="Type to search" />
</div>

            
                <nav role="navigation">
                

<ul class="summary">
    
    
        <li class="chapter " data-level="1.1" data-path="../">
            
                <a href="../">
            
                    
                    Introduction
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.2" data-path="../ch0/preface.html">
            
                <a href="../ch0/preface.html">
            
                    
                    开发环境准备：IDEA常用的插件
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.2.1" data-path="../ch0/RepSearchPractice.html">
            
                <a href="../ch0/RepSearchPractice.html">
            
                    
                    Alibaba Java Coding Guidelines
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.2.2" data-path="../ch0/RepTaskBasic.html">
            
                <a href="../ch0/RepTaskBasic.html">
            
                    
                    SonarLint
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.2.3" data-path="../ch0/RepTaskAdvanced.html">
            
                <a href="../ch0/RepTaskAdvanced.html">
            
                    
                    ESLint 
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.2.4" data-path="../ch0/handbook.html">
            
                <a href="../ch0/handbook.html">
            
                    
                    Git Commit Template
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.2.5" data-path="../ch0/PlantUML.html">
            
                <a href="../ch0/PlantUML.html">
            
                    
                    PlantUML
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.2.6" data-path="../ch0/DIagram.html">
            
                <a href="../ch0/DIagram.html">
            
                    
                    Diagram
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.3" data-path="../ch1/">
            
                <a href="../ch1/">
            
                    
                    Spring Cloud
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.3.1" data-path="../ch1/RepSearchPractice.md">
            
                <span>
            
                    
                    检索实操
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.3.2" data-path="../ch1/RepTaskBasic.html">
            
                <a href="../ch1/RepTaskBasic.html">
            
                    
                    基础任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.3.3" data-path="../ch1/RepTaskAdvanced.html">
            
                <a href="../ch1/RepTaskAdvanced.html">
            
                    
                    进阶任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.3.4" data-path="../ch1/handbook.html">
            
                <a href="../ch1/handbook.html">
            
                    
                    个人教程
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.4" data-path="../ch2/">
            
                <a href="../ch2/">
            
                    
                    第二讲：Linux基本命令使用
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.4.1" data-path="../ch2/top.html">
            
                <a href="../ch2/top.html">
            
                    
                    Top命令详解
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.4.2" data-path="../ch2/RepTaskBasic.html">
            
                <a href="../ch2/RepTaskBasic.html">
            
                    
                    基础任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.4.3" data-path="../ch2/RepTaskAdvanced.html">
            
                <a href="../ch2/RepTaskAdvanced.html">
            
                    
                    进阶任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.4.4" data-path="../ch2/handbook.html">
            
                <a href="../ch2/handbook.html">
            
                    
                    个人教程
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.5" data-path="../ch3/">
            
                <a href="../ch3/">
            
                    
                    第三讲：相关工具入门
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.5.1" data-path="../ch3/UML.html">
            
                <a href="../ch3/UML.html">
            
                    
                    UML类图入门
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.5.2" data-path="../ch3/scoop.html">
            
                <a href="../ch3/scoop.html">
            
                    
                    SCOOP
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.5.3" data-path="../ch3/brewhome.html">
            
                <a href="../ch3/brewhome.html">
            
                    
                    BrewHome
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.5.4" data-path="../ch3/handbook.html">
            
                <a href="../ch3/handbook.html">
            
                    
                    个人教程
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.6" data-path="../ch4/">
            
                <a href="../ch4/">
            
                    
                    第四讲：Spring Security Oauth2
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.6.1" data-path="../ch4/oauth2.html">
            
                <a href="../ch4/oauth2.html">
            
                    
                    理解OAuth 2.0
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.6.2" data-path="../ch4/RepTaskBasic.html">
            
                <a href="../ch4/RepTaskBasic.html">
            
                    
                    Spring Security Oauth2（一）
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.6.3" data-path="../ch4/RepTaskAdvanced.html">
            
                <a href="../ch4/RepTaskAdvanced.html">
            
                    
                    Spring Security Oauth2（二）
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.6.4" data-path="../ch4/handbook.html">
            
                <a href="../ch4/handbook.html">
            
                    
                    Spring Security Oauth2（三）
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.7" data-path="../ch5/">
            
                <a href="../ch5/">
            
                    
                    第五讲：中台
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.7.1" data-path="../ch5/MiddlePlatform.html">
            
                <a href="../ch5/MiddlePlatform.html">
            
                    
                    中台的概念与理解
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.7.2" data-path="../ch5/RepTaskBasic.html">
            
                <a href="../ch5/RepTaskBasic.html">
            
                    
                    基础任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.7.3" data-path="../ch5/RepTaskAdvanced.html">
            
                <a href="../ch5/RepTaskAdvanced.html">
            
                    
                    进阶任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.7.4" data-path="../ch5/handbook.html">
            
                <a href="../ch5/handbook.html">
            
                    
                    个人教程
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.8" data-path="../ch6/">
            
                <a href="../ch6/">
            
                    
                    第六讲：单元测试
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.8.1" data-path="../ch6/junit.html">
            
                <a href="../ch6/junit.html">
            
                    
                    mockito简单实用
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.8.2" data-path="../ch6/RepTaskBasic.html">
            
                <a href="../ch6/RepTaskBasic.html">
            
                    
                    基础任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.8.3" data-path="../ch6/AssertJ.html">
            
                <a href="../ch6/AssertJ.html">
            
                    
                    AssertJ断言机制记录
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.8.4" data-path="../ch6/handbook.html">
            
                <a href="../ch6/handbook.html">
            
                    
                    个人教程
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.9" data-path="../ch7/README.md">
            
                <span>
            
                    
                    第七讲：缓存
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.9.1" data-path="../ch7/junit.md">
            
                <span>
            
                    
                    mockito简单实用
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.9.2" data-path="../ch7/RepTaskBasic.md">
            
                <span>
            
                    
                    基础任务
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.9.3" data-path="../ch7/AssertJ.md">
            
                <span>
            
                    
                    AssertJ断言机制记录
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.9.4" data-path="../ch7/handbook.md">
            
                <span>
            
                    
                    个人教程
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.10" data-path="../ch8/">
            
                <a href="../ch8/">
            
                    
                    辅助
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.10.1" data-path="../ch8/gitbook.html">
            
                <a href="../ch8/gitbook.html">
            
                    
                    gitbook
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.10.2" data-path="../ch8/github.html">
            
                <a href="../ch8/github.html">
            
                    
                    github
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.11" data-path="README.md">
            
                <span>
            
                    
                    第八讲：apache Flink
            
                </a>
            

            <ul class="articles">
                
    
        <li class="chapter " data-level="1.11.1" data-path="info.html">
            
                <a href="info.html">
            
                    
                    介绍
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.11.2" data-path="user.html">
            
                <a href="user.html">
            
                    
                    应用场景
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.11.3" data-path="install.html">
            
                <a href="install.html">
            
                    
                    部署
            
                </a>
            

        </li>
    
        <li class="chapter active" data-level="1.11.4" data-path="Flink概述与源码研读准备.html">
            
                <a href="Flink概述与源码研读准备.html">
            
                    
                    Flink概述与源码研读准备
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.11.5" data-path="从源码构建Flink.html">
            
                <a href="从源码构建Flink.html">
            
                    
                    从源码构建Flink
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.11.6" data-path="将Flink导入IDE.html">
            
                <a href="将Flink导入IDE.html">
            
                    
                    将Flink导入IDE
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.11.7" data-path="DataStream API.html">
            
                <a href="DataStream API.html">
            
                    
                    DataStream API
            
                </a>
            

        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="1.12" data-path="../ps/handbooks.html">
            
                <a href="../ps/handbooks.html">
            
                    
                    备注
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.13" data-path="../ps/ref.html">
            
                <a href="../ps/ref.html">
            
                    
                    参考文献
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.14" data-path="../ps/thanks.html">
            
                <a href="../ps/thanks.html">
            
                    
                    致谢
            
                </a>
            

        </li>
    
        <li class="chapter " data-level="1.15" data-path="../no_end/postscript.html">
            
                <a href="../no_end/postscript.html">
            
                    
                    后记
            
                </a>
            

        </li>
    

    <li class="divider"></li>

    <li>
        <a href="https://www.gitbook.com" target="blank" class="gitbook-link">
            Published with GitBook
        </a>
    </li>
</ul>


                </nav>
            
        
    </div>

    <div class="book-body">
        
            <div class="body-inner">
                
                    
<div class="book-header" role="navigation">
    

    <!-- Title -->
    <h1>
        <i class="fa fa-circle-o-notch fa-spin"></i>
        <a href=".." >Flink概述与源码研读准备</a>
    </h1>
</div>


                    <div class="page-wrapper" tabindex="-1" role="main">
                        <div class="page-inner">
                            
<div id="book-search-results">
    <div class="search-noresults">
    
                                <section class="normal markdown-section">
                                
                                <h1 id="flink&#x6982;&#x8FF0;&#x4E0E;&#x6E90;&#x7801;&#x7814;&#x8BFB;&#x51C6;&#x5907;">Flink&#x6982;&#x8FF0;&#x4E0E;&#x6E90;&#x7801;&#x7814;&#x8BFB;&#x51C6;&#x5907;</h1>
<p>[TOC]</p>
<h1 id="&#x4E00;&#x3001;&#x524D;&#x8A00;">&#x4E00;&#x3001;&#x524D;&#x8A00;</h1>
<p>Apache Flink&#x4F5C;&#x4E3A;&#x4E00;&#x6B3E;&#x9AD8;&#x541E;&#x5410;&#x91CF;&#x3001;&#x4F4E;&#x5EF6;&#x8FDF;&#x7684;&#x9488;&#x5BF9;&#x6D41;&#x6570;&#x636E;&#x548C;&#x6279;&#x6570;&#x636E;&#x7684;&#x5206;&#x5E03;&#x5F0F;&#x5B9E;&#x65F6;&#x5904;&#x7406;&#x5F15;&#x64CE;&#xFF0C;&#x662F;&#x5F53;&#x524D;&#x5B9E;&#x65F6;&#x5904;&#x7406;&#x9886;&#x57DF;&#x7684;&#x4E00;&#x9897;&#x7099;&#x624B;&#x53EF;&#x70ED;&#x7684;&#x65B0;&#x661F;&#x3002;</p>
<p>&#x51FA;&#x4E8E;&#x6280;&#x672F;&#x4EBA;&#x5BF9;&#x6280;&#x672F;&#x672C;&#x80FD;&#x7684;&#x597D;&#x5947;&#x4E0E;&#x51B2;&#x52A8;&#xFF0C;&#x9042;&#x5229;&#x7528;&#x4E1A;&#x4F59;&#x65F6;&#x95F4;&#x5BF9;Flink&#x8FDB;&#x884C;&#x5B66;&#x4E60;&#x7814;&#x7A76;&#x3002;Flink&#x6E90;&#x7801;&#x5F88;&#x5E9E;&#x5927;&#xFF0C;&#x8981;&#x68B3;&#x7406;&#x660E;&#x767D;&#x9700;&#x8981;&#x6295;&#x5165;&#x7684;&#x65F6;&#x95F4;&#x5FC3;&#x529B;&#x5DE8;&#x5927;&#xFF0C;&#x6240;&#x4EE5;&#x7B14;&#x8005;&#x53EA;&#x662F;&#x9488;&#x5BF9;&#x81EA;&#x5DF1;&#x6240;&#x611F;&#x5174;&#x8DA3;&#x7684;&#x82E5;&#x5E72;&#x8BDD;&#x9898;&#x5C55;&#x5F00;&#x7814;&#x7A76;&#xFF0C;&#x6C34;&#x5E73;&#x6709;&#x9650;&#x5982;&#x6709;&#x9519;&#x8BEF;&#x8BF7;&#x6307;&#x6B63;&#x3002;</p>
<h1 id="&#x4E8C;&#x3001;flink&#x6982;&#x8FF0;&#x63D0;&#x8981;">&#x4E8C;&#x3001;Flink&#x6982;&#x8FF0;&#x63D0;&#x8981;</h1>
<h2 id="21-&#x4E3B;&#x8981;&#x7279;&#x6027;&#x4E0E;&#x7EC4;&#x6210;">2.1 &#x4E3B;&#x8981;&#x7279;&#x6027;&#x4E0E;&#x7EC4;&#x6210;</h2>
<p>Flink&#x662F;&#x4E00;&#x4E2A;&#x7528;&#x4E8E;&#x6D41;&#x5904;&#x7406;&#x548C;&#x6279;&#x5904;&#x7406;&#x7684;&#x5F00;&#x6E90;&#x5206;&#x5E03;&#x5F0F;&#x5E73;&#x53F0;&#xFF0C;&#x5B83;&#x7684;&#x6838;&#x5FC3;&#x662F;&#x6D41;&#x5904;&#x7406;&#x5F15;&#x64CE;&#xFF08;streaming dataflow engine&#xFF09;&#x3002;</p>
<p>batch dataset&#x53EF;&#x4EE5;&#x89C6;&#x4F5C;streaming dataset&#x7684;&#x4E00;&#x79CD;&#x7279;&#x4F8B;&#xFF0C;&#x6240;&#x4EE5;Flink&#x53EF;&#x901A;&#x8FC7;&#x6D41;&#x5904;&#x7406;&#x5F15;&#x64CE;&#x540C;&#x65F6;&#x5904;&#x7406;batch&#x3001;streaming&#x4E24;&#x79CD;&#x7C7B;&#x578B;&#x7684;&#x6570;&#x636E;&#x3002;&#x8FD9;&#x548C;spark streaming&#x521A;&#x597D;&#x76F8;&#x53CD;&#xFF0C;spark streaming&#x662F;&#x901A;&#x8FC7;micro batch&#x5B9E;&#x73B0;&#x5BF9;streaming&#x5904;&#x7406;&#x7684;&#x652F;&#x6301;&#x3002;</p>
<p><strong>Flink&#x7684;&#x529F;&#x80FD;&#x7279;&#x6027;&#xFF1A;</strong></p>
<ul>
<li>&#x53EF;&#x63D0;&#x4F9B;&#x51C6;&#x786E;&#x7684;&#x7ED3;&#x679C;&#x4EA7;&#x51FA;&#xFF0C;&#x5373;&#x4F7F;&#x9047;&#x5230;&#x4E71;&#x5E8F;&#x6570;&#x636E;&#x3001;&#x8FDF;&#x5230;&#x6570;&#x636E;&#xFF1B;</li>
<li>&#x6709;&#x72B6;&#x6001;&#x53EF;&#x5BB9;&#x9519;&#xFF08;&#x8F7B;&#x91CF;&#x7EA7;&#xFF09;&#xFF0C;&#x53EF;&#x4EE5;&#x65E0;&#x611F;&#x77E5;&#x5730;&#x4ECE;&#x5931;&#x8D25;&#x4E2D;&#x6062;&#x590D;&#x5E76;&#x4FDD;&#x6301;exactly-once&#x7684;&#x8BED;&#x4E49;&#xFF08;&#x4E5F;&#x53EF;&#x4EE5;&#x964D;&#x7EA7;&#x4E3A;at-least-once&#x8FDB;&#x4E00;&#x6B65;&#x964D;&#x4F4E;&#x6D88;&#x606F;&#x5904;&#x7406;&#x5EF6;&#x65F6;&#xFF09;&#xFF1B;</li>
<li>&#x53EF;&#x4EE5;&#x5927;&#x89C4;&#x6A21;&#x5730;&#x8FD0;&#x884C;&#x5728;&#x6210;&#x5343;&#x4E0A;&#x4E07;&#x4E2A;&#x8282;&#x70B9;&#x4E0A;&#x5E76;&#x4FDD;&#x6301;&#x9AD8;&#x541E;&#x5410;&#x3001;&#x4F4E;&#x5EF6;&#x8FDF;&#xFF0C;&#x53EF;&#x4EE5;standalone&#x6A21;&#x5F0F;&#x8FD0;&#x884C;&#xFF0C;&#x4E5F;&#x53EF;&#x4EE5;&#x5728;YARN&#x548C;Mesos&#x7B49;&#x8D44;&#x6E90;&#x7BA1;&#x7406;&#x5E73;&#x53F0;&#x4E0A;&#x8FD0;&#x884C;&#xFF1B;</li>
<li>&#x7075;&#x6D3B;&#x5730;&#x652F;&#x6301;&#x591A;&#x79CD;&#x57FA;&#x4E8E;&#x65F6;&#x95F4;&#x3001;&#x6570;&#x91CF;&#x3001;&#x4F1A;&#x8BDD;&#x7684;&#x7A97;&#x53E3;&#xFF1B;</li>
<li>savepoint&#x63D0;&#x4F9B;&#x4E86;&#x72B6;&#x6001;&#x7BA1;&#x7406;&#x673A;&#x5236;&#xFF1B;</li>
</ul>
<p><strong>Flink&#x81EA;&#x4E0B;&#x800C;&#x4E0A;&#x7684;&#x5168;&#x5C40;&#x7EC4;&#x6210;&#x7ED3;&#x6784;&#x56FE;&#xFF1A;</strong></p>
<p> <img src="image/flink1.png" alt="img"></p>
<h2 id="22-&#x7F16;&#x7A0B;&#x6A21;&#x578B;">2.2 &#x7F16;&#x7A0B;&#x6A21;&#x578B;</h2>
<p><strong>2.2.1 Flink&#x63D0;&#x4F9B;&#x7684;API</strong></p>
<p>Flink&#x63D0;&#x4F9B;&#x4E86;&#x4E0D;&#x540C;&#x5C42;&#x6B21;&#x7684;API&#x7528;&#x4E8E;streaming/batch&#x5E94;&#x7528;&#x7684;&#x5F00;&#x53D1;&#xFF0C;&#x5982;&#x4E0B;&#x56FE;&#x6240;&#x793A;&#xFF1A;</p>
<p><img src="image/flink2.png" alt="img"></p>
<ul>
<li>&#x6700;&#x5E95;&#x5C42;&#x7684;&#x62BD;&#x8C61;&#x4EC5;&#x63D0;&#x4F9B;&#x72B6;&#x6001;&#x6D41;&#xFF08;stateful streaming&#xFF09;&#xFF0C;&#x5B83;&#x901A;&#x8FC7;&#x5904;&#x7406;&#x51FD;&#x6570;&#x5D4C;&#x5165;&#x5230;DataStream API&#x4E2D;&#x3002;</li>
<li>&#x5B9E;&#x8DF5;&#x4E2D;&#x7528;Core API&#x6BD4;&#x8F83;&#x591A;&#xFF0C;&#x8FD9;&#x4E9B;&#x6D41;&#x5F0F;&#x7684;API&#x63D0;&#x4F9B;&#x4E86;&#x901A;&#x7528;&#x7684;&#x6784;&#x5EFA;&#x5165;&#x53E3;&#x7528;&#x4E8E;&#x6570;&#x636E;&#x5904;&#x7406;&#xFF0C;&#x50CF;&#x5404;&#x79CD;&#x7528;&#x6237;&#x81EA;&#x5B9A;&#x4E49;&#x7684;transformation&#x3001;join&#x3001;aggregation&#x3001;window&#x3001;state&#x7B49;&#x3002;</li>
<li>Table API&#x662F;&#x4EE5;&#x8868;&#x4E3A;&#x4E2D;&#x5FC3;&#x7684;&#x58F0;&#x660E;&#x5F0F;DSL&#xFF08;&#x9886;&#x57DF;&#x7279;&#x5B9A;&#x8BED;&#x8A00;&#xFF09;&#xFF0C;&#x5F53;&#x8FD9;&#x4E9B;Table&#x8868;&#x793A;&#x7684;&#x662F;stream&#x65F6;&#xFF0C;Table&#x662F;&#x52A8;&#x6001;&#x53D8;&#x5316;&#x7684;&#x3002;Table API&#x9075;&#x5FAA;&#x6269;&#x5C55;&#x7684;&#x5173;&#x7CFB;&#x6A21;&#x578B;&#xFF0C;&#x63D0;&#x4F9B;&#x4E86;&#x5305;&#x62EC;select&#x3001;project&#x3001;join&#x3001;group-by&#x3001;aggregate&#x7B49;&#x64CD;&#x4F5C;&#x3002;</li>
<li>Flink&#x63D0;&#x4F9B;&#x7684;&#x6700;&#x9AD8;&#x5C42;&#x7EA7;&#x7684;API&#x662F;SQL&#xFF0C;&#x5B83;&#x5728;&#x8BED;&#x4E49;&#x548C;&#x8868;&#x8FBE;&#x80FD;&#x529B;&#x4E0A;&#x4E0E;Table API&#x662F;&#x7C7B;&#x4F3C;&#x7684;&#x3002;</li>
</ul>
<p><strong>2.2.2 Flink&#x7A0B;&#x5E8F;&#x4E0E;Streaming Dataflow</strong></p>
<p>Flink&#x7A0B;&#x5E8F;&#x7684;&#x57FA;&#x672C;&#x5143;&#x7D20;&#x5305;&#x62EC;&#xFF1A;</p>
<ul>
<li>stream&#xFF1A;&#x7531;&#x8FDE;&#x7EED;&#x4E0D;&#x65AD;&#x7684;data record&#x7EC4;&#x6210;&#x7684;&#x6570;&#x636E;&#x6D41;&#x3002;</li>
<li>transformation&#xFF1A;&#x662F;&#x4E00;&#x79CD;&#x8F6C;&#x6362;&#x64CD;&#x4F5C;&#xFF0C;&#x4F5C;&#x7528;&#x5728;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;stream&#x4E0A;&#xFF0C;&#x8F93;&#x51FA;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;stream&#x3002;</li>
</ul>
<p>&#x6BCF;&#x4E2A;Flink&#x7A0B;&#x5E8F;&#x53EF;&#x4EE5;&#x6620;&#x5C04;&#x4E3A;&#x4E00;&#x4E2A;streaming dataflow&#xFF0C;&#x8FD9;&#x4E2A;dataflow&#x7531;stream&#x548C;transformation operator&#x7EC4;&#x6210;&#x3002;&#x6BCF;&#x4E2A;dataflow&#x662F;&#x4E00;&#x4E2A;DAG&#xFF0C;&#x4ECE;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;source&#x5F00;&#x59CB;&#xFF0C;&#x7ED3;&#x675F;&#x4E8E;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;sink&#x3002;</p>
<p>Flink&#x7A0B;&#x5E8F;/Streaming dataflow&#x7684;&#x7ED3;&#x6784;&#x5982;&#x4E0B;&#x56FE;&#x6240;&#x793A;&#xFF1A;</p>
<p><img src="image/flink3.png" alt="img"></p>
<p>&#x4E00;&#x4E2A;&#x6807;&#x51C6;Flink&#x7A0B;&#x5E8F;&#x7684;&#x7EC4;&#x6210;&#xFF1A;</p>
<ul>
<li>&#x83B7;&#x53D6;&#x4E00;&#x4E2A;&#x6267;&#x884C;&#x73AF;&#x5883;&#xFF08;StreamExecutionEnvironment&#x7528;&#x4E8E;&#x6D41;&#x5904;&#x7406;&#xFF0C;ExecutionEnvironment&#x7528;&#x4E8E;&#x6279;&#x5904;&#x7406;&#xFF09;&#xFF0C;&#x6267;&#x884C;&#x73AF;&#x5883;&#x53EF;&#x4EE5;&#x51B3;&#x5B9A;&#x5C06;&#x4E0B;&#x9762;&#x7684;&#x8BA1;&#x7B97;&#x653E;&#x5728;&#x672C;&#x5730;jvm&#x8FD0;&#x884C;&#x8FD8;&#x662F;&#x63D0;&#x4EA4;&#x5230;Flink&#x96C6;&#x7FA4;&#x4E2D;&#x8FD0;&#x884C;&#xFF1B;</li>
<li>&#x52A0;&#x8F7D;&#x521D;&#x59CB;&#x6570;&#x636E;&#xFF1B;</li>
<li>&#x5728;&#x6570;&#x636E;&#x4E0A;&#x6307;&#x5B9A;&#x9700;&#x8981;&#x6267;&#x884C;&#x7684;transformation&#xFF1B;</li>
<li>&#x6307;&#x5B9A;&#x5C06;&#x8BA1;&#x7B97;&#x7ED3;&#x679C;&#x5199;&#x5230;&#x54EA;&#x91CC;&#xFF1B;</li>
<li>&#x89E6;&#x53D1;&#x7A0B;&#x5E8F;&#x6267;&#x884C;&#xFF1B;</li>
</ul>
<p><strong>2.2.3 &#x5E76;&#x884C;&#x7684;dataflow</strong></p>
<p>Flink&#x7A0B;&#x5E8F;&#x5728;&#x5B9E;&#x9645;&#x8FD0;&#x884C;&#x4E2D;&#x662F;&#x5E76;&#x884C;&#x7684;&#x3001;&#x5206;&#x5E03;&#x5F0F;&#x7684;&#xFF1A;</p>
<ul>
<li>&#x4E00;&#x4E2A;stream&#x4F1A;&#x88AB;&#x62C6;&#x5206;&#x4E3A;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;stream partitions&#x3002;</li>
<li>&#x4E00;&#x4E2A;transformation operator&#x53EF;&#x4EE5;&#x62C6;&#x5206;&#x4E3A;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;operator subtask&#xFF08;subtask&#x7684;&#x6570;&#x91CF;&#x79F0;&#x4E3A;&#x8FD9;&#x4E2A;operator&#x7684;&#x5E76;&#x884C;&#x5EA6;&#xFF09;&#x3002;&#x6BCF;&#x4E2A;operator subtask&#x548C;&#x5176;&#x5B83;&#x7684;operator subtask&#x76F8;&#x4E92;&#x72EC;&#x7ACB;&#xFF0C;&#x5E76;&#x8FD0;&#x884C;&#x5728;&#x4E0D;&#x540C;&#x7684;&#x7EBF;&#x7A0B;&#x4E2D;&#xFF08;&#x751A;&#x81F3;&#x5728;&#x4E0D;&#x540C;&#x7684;&#x673A;&#x5668;&#x4E0A;&#xFF09;Flink&#x7A0B;&#x5E8F;&#x4E2D;&#x7684;source&#x3001;sink&#x4E5F;&#x90FD;&#x5C5E;&#x4E8E;transformation operator&#x3002;</li>
</ul>
<p>&#x4E00;&#x4E2A;transformation operator&#x4E2D;&#x7684;operator subtask&#x4E2A;&#x6570;&#x5C31;&#x662F;&#x8FD9;&#x4E2A;operator&#x7684;&#x5E76;&#x884C;&#x5EA6;&#xFF1B;&#x4E00;&#x4E2A;stream&#x7684;&#x5E76;&#x884C;&#x5EA6;&#x4E3A;&#x5BF9;&#x5E94;&#x7684;producing operator&#xFF08;&#x4ECE;&#x6570;&#x636E;&#x6E90;&#x8BFB;&#x6570;&#x636E;&#x7684;operator&#xFF09;&#x7684;&#x4E2A;&#x6570;&#x3002;&#x4E00;&#x4E2A;&#x7A0B;&#x5E8F;&#x4E2D;&#x7684;&#x4E0D;&#x540C;operator&#x53EF;&#x80FD;&#x4F1A;&#x6709;&#x4E0D;&#x540C;&#x7684;&#x5E76;&#x884C;&#x5EA6;&#x3002;</p>
<p>&#x4E00;&#x4E2A;dataflow&#x7684;&#x8FD0;&#x884C;&#x7ED3;&#x6784;&#x5982;&#x4E0B;&#x56FE;&#x6240;&#x793A;&#xFF1A;</p>
<p> <img src="image/flink4.png" alt="img"></p>
<p>&#x6D41;&#x4E2D;&#x7684;&#x6570;&#x636E;&#x5728;&#x4E0D;&#x540C;operator&#x4E4B;&#x95F4;&#x7684;&#x4F20;&#x9012;&#x65B9;&#x5F0F;&#x6709;&#x4E24;&#x79CD;&#xFF1A;</p>
<ul>
<li>one-to-one&#xFF1A;&#x50CF;&#x4E0A;&#x56FE;&#x7684;Source[1] -&gt; map[1]&#x3002;</li>
<li>redistributing&#xFF1A;&#x50CF;&#x4E0A;&#x56FE;&#x7684;map[1] -&gt; keyBy()/window()/apply() [1]&#x548C;[2]&#x3002;</li>
</ul>
<p><strong>2.2.4 Window</strong></p>
<p>&#x5728;streams&#x4E0A;&#x5BF9;event&#x8FDB;&#x884C;&#x805A;&#x5408;&#xFF08;&#x5982;count&#x3001;sum&#xFF09;&#x4E0E;&#x6279;&#x5904;&#x7406;&#x4E0D;&#x540C;&#xFF0C;&#x9700;&#x8981;&#x901A;&#x8FC7;window&#x9650;&#x5B9A;&#x805A;&#x5408;&#x7684;event&#x8303;&#x56F4;&#xFF0C;&#x5982;&#x7EDF;&#x8BA1;&#x6700;&#x8FD1;5&#x5206;&#x949F;&#x7684;event&#x6570;&#x91CF;&#x3002;stream&#x4E0A;&#x7684;window&#x53EF;&#x4EE5;&#x662F;&#x65F6;&#x95F4;&#x9A71;&#x52A8;&#xFF08;&#x5982;&#x6BCF;30&#x79D2;&#xFF09;&#xFF0C;&#x4E5F;&#x53EF;&#x4EE5;&#x662F;&#x6570;&#x636E;&#x9A71;&#x52A8;&#xFF08;&#x5982;&#x6BCF;100&#x4E2A;&#x5143;&#x7D20;&#xFF09;&#x3002;</p>
<p>window&#x7C7B;&#x578B;&#x7684;&#x5178;&#x578B;&#x5212;&#x5206;&#xFF1A;</p>
<ul>
<li>tumbling windows&#xFF1A;&#x4E0D;&#x540C;window&#x4E4B;&#x95F4;&#x7684;&#x5143;&#x7D20;&#x4E0D;&#x91CD;&#x53E0;&#x3002;</li>
<li>sliding window&#xFF1A;&#x4E0D;&#x540C;window&#x4E4B;&#x95F4;&#x7684;&#x5143;&#x7D20;&#x53EF;&#x91CD;&#x53E0;&#x3002;</li>
<li>session window&#xFF1A;&#x5373;&#x901A;&#x8FC7;&#x4F1A;&#x8BDD;&#x6765;&#x533A;&#x5206;window&#x3002;</li>
</ul>
<p>&#x4E00;&#x4E2A;stream&#x4E0A;&#x53EF;&#x4EE5;&#x540C;&#x65F6;&#x6709;&#x591A;&#x4E2A;window&#xFF1A;</p>
<p> <img src="image/flink5.png" alt="img"></p>
<p><strong>2.2.5 &#x6709;&#x72B6;&#x6001;&#x7684;Operation</strong></p>
<p>dataflow&#x4E2D;&#x5F88;&#x591A;operator&#x5728;&#x4E00;&#x4E2A;&#x65F6;&#x95F4;&#x70B9;&#x901A;&#x5E38;&#x53EA;&#x5173;&#x6CE8;&#x4E00;&#x4E2A;event&#xFF0C;&#x662F;&#x65E0;&#x72B6;&#x6001;&#x7684;&#xFF1B;&#x800C;&#x6709;&#x4E9B;operator&#x4F1A;&#x9700;&#x8981;&#x8BB0;&#x5FC6;&#x8DE8;&#x591A;&#x4E2A;event&#x7684;&#x4FE1;&#x606F;&#xFF0C;&#x8FD9;&#x4E9B;operator&#x5C31;&#x662F;&#x6709;&#x72B6;&#x6001;&#x7684;&#x3002;</p>
<p>&#x6709;&#x72B6;&#x6001;&#x7684;operator&#x7684;&#x72B6;&#x6001;&#x4EE5;key/value&#x7684;&#x5F62;&#x5F0F;&#x5B58;&#x50A8;&#xFF08;&#x5728;&#x5185;&#x5B58;&#x3001;HDFS&#x6216;RocksDB&#x4E2D;&#xFF09;&#xFF0C;&#x5E76;&#x4E0E;stream&#x4E00;&#x8D77;&#x88AB;&#x5206;&#x5272;&#x5206;&#x5E03;&#x5F0F;&#x5B58;&#x50A8;&#x3002;</p>
<p><strong>2.2.6 Checkpoint&#x4E0E;&#x5BB9;&#x9519;</strong></p>
<p>Flink&#x901A;&#x8FC7;&#x6D41;&#x91CD;&#x653E;&#xFF08;stream replay&#xFF09;&#x3001;&#x68C0;&#x67E5;&#x70B9;&#xFF08;checkpointing&#xFF09;&#x6765;&#x5B9E;&#x73B0;&#x5BB9;&#x9519;&#x3002;</p>
<p>checkpoint&#x5B58;&#x50A8;&#x7684;&#x4FE1;&#x606F;&#x5305;&#x62EC;&#x67D0;&#x4E2A;&#x7279;&#x5B9A;event&#x5728;stream&#x4E2D;&#x7684;&#x504F;&#x79FB;&#x91CF;&#x3001;dataflow&#x4E2D;&#x76F8;&#x5173;operator&#x5904;&#x7406;&#x5230;&#x8FD9;&#x4E2A;event&#x65F6;&#x7684;&#x72B6;&#x6001;&#x3002;</p>
<p>&#x4E00;&#x4E2A;stream dataflow&#x53EF;&#x4EE5;&#x4ECE;&#x4E00;&#x4E2A;&#x4EFB;&#x610F;&#x6307;&#x5B9A;&#x7684;checkpoint&#x6062;&#x590D;&#xFF08;&#x52A0;&#x8F7D;checkpoint&#x4E2D;&#x5404;operator&#x7684;&#x72B6;&#x6001;&#xFF0C;&#x7136;&#x540E;&#x4ECE;stream&#x4E2D;&#x6307;&#x5B9A;event&#x4F4D;&#x7F6E;&#x5F00;&#x59CB;&#x91CD;&#x653E;&#xFF09;&#xFF0C;&#x540C;&#x65F6;&#x4FDD;&#x8BC1;exactly-once&#x8BED;&#x4E49;&#x3002;</p>
<p>&#x5BF9;flink&#x7684;checkpoint&#x65F6;&#x95F4;&#x95F4;&#x9694;&#xFF0C;&#x5982;&#x679C;&#x8BBE;&#x7F6E;&#x7684;&#x8F83;&#x957F;&#xFF0C;&#x5219;&#x5BB9;&#x9519;&#x5F00;&#x9500;&#x5C0F;&#xFF0C;&#x4F46;&#x662F;&#x4ECE;checkpoint&#x6062;&#x590D;&#x65F6;&#x95F4;&#x957F;&#xFF08;&#x56E0;&#x4E3A;&#x9700;&#x8981;&#x91CD;&#x653E;&#x5F88;&#x591A;&#x7684;event&#xFF09;&#xFF1B;&#x5982;&#x679C;&#x8BBE;&#x7F6E;&#x7684;&#x8F83;&#x77ED;&#xFF0C;&#x5219;&#x6062;&#x590D;&#x5F88;&#x5FEB;&#xFF0C;&#x4F46;&#x662F;&#x5BB9;&#x9519;&#x5F00;&#x9500;&#x5927;&#xFF08;&#x5B58;&#x50A8;&#x4E86;&#x5F88;&#x591A;checkpoints&#xFF09;&#x3002;</p>
<p>&#x9700;&#x8981;&#x8BF4;&#x660E;&#x7684;&#x662F;&#xFF0C;Flink&#x5C06;&#x6279;&#x5904;&#x7406;&#x770B;&#x505A;&#x6D41;&#x5904;&#x7406;&#x7684;&#x4E00;&#x79CD;&#x7279;&#x6B8A;&#x60C5;&#x5F62;&#xFF08;&#x5373;stream&#x662F;&#x6709;&#x754C;&#x7684;&#x60C5;&#x5F62;&#xFF09;&#x3002;Flink&#x5BF9;&#x6279;&#x5904;&#x7406;&#x5E76;&#x4E0D;&#x7528;checkpoint&#xFF0C;&#x56E0;&#x4E3A;&#x8003;&#x8651;&#x5230;batch data&#x662F;&#x6709;&#x9650;&#x7684;&#xFF0C;&#x5F53;&#x5904;&#x7406;&#x6570;&#x636E;&#x5931;&#x8D25;&#x4E86;&#x628A;&#x6240;&#x6709;&#x6570;&#x636E;&#x91CD;&#x653E;&#x4E00;&#x904D;&#x5373;&#x53EF;&#x3002;&#x56E0;&#x800C;&#x6279;&#x5904;&#x7406;&#x4E2D;&#x5904;&#x7406;event&#x4F1A;&#x66F4;&#x5FEB;&#xFF08;&#x56E0;&#x4E3A;&#x907F;&#x514D;&#x4E86;checkpoint&#xFF09;&#x3002;</p>
<p><strong>2.2.7 WaterMark</strong></p>
<p>WaterMark&#xFF08;&#x5305;&#x542B;&#x4E00;&#x4E2A;&#x65F6;&#x95F4;&#x6233;&#xFF09;&#x53EF;&#x4EE5;&#x50CF;&#x6B63;&#x5E38;&#x7684;element&#x4E00;&#x6837;&#x63D2;&#x5165;&#x5230;stream&#x4E2D;&#xFF0C;&#x7528;&#x4E8E;&#x544A;&#x8BC9;operator&#x4E0D;&#x4F1A;&#x6709;&#x6BD4;&#x5B83;&#x81EA;&#x5DF1;&#x66F4;&#x665A;&#x7684;element&#x5230;&#x6765;&#x3002;WaterMark&#x5728;source&#x4E2D;&#x53D1;&#x5C04;&#xFF0C;&#x5E76;&#x901A;&#x8FC7;operator&#x5728;stream&#x4E2D;&#x5411;&#x4E0B;&#x4F20;&#x64AD;&#x3002;</p>
<p>watermark&#x53EA;&#x662F;&#x542F;&#x53D1;&#x5F0F;&#x7684;&#xFF0C;&#x5982;&#x679C;&#x6709;&#x6BD4;watermark&#x7684;event time&#x65E9;&#x7684;element&#x5728;watermark&#x4E4B;&#x540E;&#x5230;&#xFF0C;operator&#x4ECD;&#x7136;&#x9700;&#x8981;&#x652F;&#x6301;&#x5904;&#x7406;&#xFF08;&#x629B;&#x5F03;&#x6216;&#x66F4;&#x65B0;&#x7ED3;&#x679C;&#xFF09;&#x3002;&#x5F53;source&#x53D1;&#x4E86;&#x4E00;&#x4E2A;&#x6700;&#x7EC8;&#x7684;watermark&#xFF08;&#x65F6;&#x95F4;&#x6233;&#x4E3A;Long.MAX_VALUE&#xFF09;&#xFF0C;&#x6536;&#x5230;&#x5B83;&#x7684;operator&#x5C31;&#x77E5;&#x9053;&#x4E0D;&#x4F1A;&#x6709;&#x66F4;&#x591A;&#x7684;&#x8F93;&#x5165;&#x4E86;&#x3002;</p>
<h2 id="23-&#x5206;&#x5E03;&#x5F0F;runtime">2.3 &#x5206;&#x5E03;&#x5F0F;runtime</h2>
<p><strong>2.3.1 &#x4EFB;&#x52A1;&#x94FE;&#x4E0E;Oprator&#x94FE;</strong></p>
<p>&#x4E3A;&#x4E86;&#x80FD;&#x591F;&#x5206;&#x5E03;&#x5F0F;&#x6267;&#x884C;&#xFF0C;Flink&#x5C06;operator subtask&#x94FE;&#x5F0F;&#x62FC;&#x63A5;&#x4E3A;&#x4E00;&#x4E2A;task&#xFF0C;&#x6BCF;&#x4E2A;task&#x7531;&#x4E00;&#x4E2A;&#x7EBF;&#x7A0B;&#x6765;&#x6267;&#x884C;&#x3002;&#x8FD9;&#x662F;&#x4E00;&#x4E2A;&#x5F88;&#x6709;&#x7528;&#x7684;&#x4F18;&#x5316;&#xFF0C;&#x5B83;&#x53EF;&#x4EE5;&#x964D;&#x4F4E;&#x7EBF;&#x7A0B;&#x4E4B;&#x95F4;&#x7684;&#x5207;&#x6362;&#x5F00;&#x9500;&#xFF0C;&#x589E;&#x52A0;Flink&#x7684;&#x541E;&#x5410;&#x91CF;&#xFF0C;&#x5E76;&#x964D;&#x4F4E;&#x5904;&#x7406;&#x5EF6;&#x65F6;&#x3002;</p>
<p>&#x4E0B;&#x56FE;&#x5C55;&#x793A;&#x7684;&#x662F;&#x4E00;&#x4E2A;dataflow&#xFF0C;&#x5176;&#x4E2D;&#x6D89;&#x53CA;&#x5230;source&#x3001;map()&#x3001;keyBy()/window()/apply()&#x3001;sink&#x7B49;operator&#x3002;</p>
<ul>
<li>source&#x548C;map&#x5206;&#x522B;&#x90FD;&#x88AB;&#x62C6;&#x5206;&#x4E3A;&#x4E24;&#x4E2A;operator subtask&#x5E76;&#x5404;&#x5206;&#x914D;&#x4E00;&#x4E2A;&#x7EBF;&#x7A0B;&#xFF0C;&#x5176;&#x4E2D;&#x8003;&#x8651;&#x5230;event&#x5728;source&#x3001;map&#x4E2D;&#x7684;&#x4F20;&#x8F93;&#x65B9;&#x5F0F;&#x662F;one-to-one&#x6240;&#x4EE5;&#x5C06;source&#x548C;map&#x94FE;&#x63A5;&#x5728;&#x540C;&#x4E00;&#x4E2A;&#x7EBF;&#x7A0B;&#x91CC;&#xFF1B;</li>
<li><p>keyBy()/window()/apply()&#x4E5F;&#x88AB;&#x62C6;&#x5206;&#x4E3A;&#x4E24;&#x4E2A;operator subtask&#x5E76;&#x5404;&#x5360;&#x4E00;&#x4E2A;&#x7EBF;&#x7A0B;&#xFF1B;</p>
<p><img src="image/flink6.png" alt="img"></p>
</li>
</ul>
<p><strong>2.3.2 JobManager/TaskManager/Client</strong></p>
<p>Flink&#x8FD0;&#x884C;&#x65F6;&#x5305;&#x542B;&#x4E24;&#x79CD;&#x7C7B;&#x578B;&#x7684;&#x8FDB;&#x7A0B;&#xFF1A;</p>
<p>&#xFF08;1&#xFF09;JobManager&#xFF08;master&#xFF09;&#xFF1A;&#x534F;&#x8C03;job&#x7684;&#x5206;&#x5E03;&#x5F0F;&#x6267;&#x884C;&#xFF0C;&#x5177;&#x4F53;&#x5305;&#x62EC;&#x8C03;&#x5EA6;task&#x3001;&#x534F;&#x8C03;checkpoint&#x3001;&#x534F;&#x8C03;&#x4ECE;&#x5931;&#x8D25;&#x4E2D;&#x6062;&#x590D;&#x7B49;&#x3002;&#x5728;&#x5B9E;&#x9645;&#x90E8;&#x7F72;&#x4E2D;&#xFF0C;&#x81F3;&#x5C11;&#x6709;&#x4E00;&#x4E2A;JobManager&#xFF0C;&#x9AD8;&#x53EF;&#x7528;&#x6A21;&#x5F0F;&#x4E0B;&#x4F1A;&#x6709;&#x591A;&#x4E2A;JobManager&#xFF08;&#x4E00;&#x4E2A;&#x4F5C;&#x4E3A;leader&#x5176;&#x5B83;&#x4F5C;&#x4E3A;standby&#xFF09;&#x3002;</p>
<p>&#xFF08;2&#xFF09;TaskManager&#xFF08;worker&#xFF09;&#xFF1A;&#x8D1F;&#x8D23;dataflow&#x4E2D;task&#x7684;&#x5177;&#x4F53;&#x6267;&#x884C;&#xFF08;&#x66F4;&#x5177;&#x4F53;&#x5730;&#x8BF4;&#x662F;subtask&#xFF09;&#x3002;TaskManager&#x9700;&#x8981;&#x8FDE;&#x63A5;&#x5230;JobManager&#xFF0C;&#x544A;&#x8BC9;&#x5B83;&#x81EA;&#x5DF1;&#x662F;&#x53EF;&#x7528;&#x7684;&#xFF0C;&#x5E76;&#x7B49;&#x5F85;&#x88AB;&#x5206;&#x914D;&#x4EFB;&#x52A1;&#x3002;&#x5728;&#x5B9E;&#x9645;&#x90E8;&#x7F72;&#x4E2D;&#xFF0C;&#x4E5F;&#x81F3;&#x5C11;&#x6709;&#x4E00;&#x4E2A;TaskManager&#x3002;</p>
<p>&#x5728;&#x5355;&#x673A;&#x4F2A;&#x5206;&#x5E03;&#x6A21;&#x5F0F;&#x4E0B;&#xFF0C;&#x53EA;&#x6709;JobManager&#x8FDB;&#x7A0B;&#xFF0C;&#x800C;TaskManager&#x4F1A;&#x4F5C;&#x4E3A;JobManager&#x8FDB;&#x7A0B;&#x4E2D;&#x7684;&#x4E00;&#x4E2A;&#x7EBF;&#x7A0B;&#x3002;</p>
<p>JobManager&#x548C;TaskManager&#x53EF;&#x4EE5;&#x76F4;&#x63A5;&#x5728;&#x673A;&#x5668;&#x4E0A;&#x542F;&#x52A8;&#xFF0C;&#x4E5F;&#x53EF;&#x4EE5;&#x901A;&#x8FC7;&#x8D44;&#x6E90;&#x7BA1;&#x7406;&#x6846;&#x67B6;&#xFF08;&#x5982;YARN&#x3001;Mesos&#xFF09;&#x6765;&#x7BA1;&#x7406;&#x542F;&#x52A8;&#x3002;</p>
<p>Client&#x4E0D;&#x662F;Flink&#x8FD0;&#x884C;&#x65F6;&#x7684;&#x7EC4;&#x6210;&#x90E8;&#x5206;&#xFF0C;&#x88AB;&#x7528;&#x4E8E;&#x5411;JobManager&#x53D1;&#x9001;Job&#xFF08;&#x6B64;&#x540E;&#x53EF;&#x4EE5;&#x65AD;&#x5F00;&#x8FDE;&#x63A5;&#x6216;&#x8005;&#x7B49;&#x5F85;JobManager&#x7684;&#x4EFB;&#x52A1;&#x6267;&#x884C;&#x8FDB;&#x5EA6;&#x62A5;&#x544A;&#xFF09;&#x3002;</p>
<p>JobManager&#x3001;TaskManager&#x548C;Client&#x4E4B;&#x95F4;&#x7684;&#x4EA4;&#x4E92;&#x5982;&#x4E0B;&#x56FE;&#x6240;&#x793A;&#xFF1A;</p>
<p> <img src="image/flink7.png" alt="img"></p>
<p><strong>2.3.3 Task&#x69FD;&#xFF08;slot&#xFF09;&#x4E0E;&#x8D44;&#x6E90;</strong></p>
<p>&#x6BCF;&#x4E2A;TaskManager&#x662F;&#x4E00;&#x4E2A;JVM&#x8FDB;&#x7A0B;&#xFF0C;&#x4F1A;&#x5728;&#x4E0D;&#x540C;&#x7684;&#x7EBF;&#x7A0B;&#x4E2D;&#x6267;&#x884C;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;operator subtask&#x3002;&#x4E3A;&#x4E86;&#x63A7;&#x5236;&#x5355;&#x4E2A;TaskManager&#x6240;&#x80FD;&#x63A5;&#x6536;&#x7684;&#x4EFB;&#x52A1;&#x6570;&#x91CF;&#xFF0C;&#x6BCF;&#x4E2A;TaskManager&#x4F1A;&#x5305;&#x542B;&#x4E00;&#x7EC4;Task&#x69FD;&#xFF08;&#x81F3;&#x5C11;&#x4F1A;&#x6709;&#x4E00;&#x4E2A;&#xFF09;&#x3002;</p>
<p>&#x4E00;&#x4E2A;Task&#x69FD;&#x8868;&#x793A;TaskManager JVM&#x8FDB;&#x7A0B;&#x4E2D;&#x4E00;&#x7EC4;&#x56FA;&#x5B9A;&#x7684;&#x8D44;&#x6E90;&#xFF0C;&#x53EF;&#x4EE5;&#x88AB;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;&#x7EBF;&#x7A0B;&#xFF08;&#x6216;operator subtask&#xFF09;&#x5171;&#x4EAB;&#x3002;</p>
<p>&#x4F8B;&#x5982;&#xFF0C;&#x5BF9;&#x4E00;&#x4E2A;&#x5305;&#x542B;3&#x4E2A;Task&#x69FD;&#x7684;TaskManager&#xFF0C;&#x5B83;&#x4F1A;&#x628A;&#x8FDB;&#x7A0B;&#x4E2D;1/3&#x7684;&#x8D44;&#x6E90;&#xFF08;&#x5982;&#x5185;&#x5B58;&#xFF09;&#x5206;&#x914D;&#x7ED9;&#x5404;&#x4E2A;&#x69FD;&#x3002;&#x4E0D;&#x540C;Task&#x69FD;&#x4E2D;&#x7684;subtask&#x4E92;&#x76F8;&#x72EC;&#x7ACB;&#x4E0D;&#x4F1A;&#x4E92;&#x76F8;&#x4E89;&#x593A;&#x8D44;&#x6E90;&#xFF0C;&#x4F46;&#x662F;&#x4F1A;&#x5171;&#x4EAB;JVM&#x4E2D;&#x7684;TCP&#x8FDE;&#x63A5;&#x3001;&#x5FC3;&#x8DF3;&#x6D88;&#x606F;&#x3002;Task&#x69FD;&#x76EE;&#x524D;&#x53EA;&#x662F;&#x7528;&#x4E8E;&#x9694;&#x79BB;Task&#x4F7F;&#x7528;&#x7684;&#x5185;&#x5B58;&#x3002;</p>
<p>TaskManager JVM&#x4E2D;operator subtask&#x3001;thread&#x3001;task slot&#x4E4B;&#x95F4;&#x7684;&#x5173;&#x7CFB;&#xFF1A;</p>
<ul>
<li>&#x4E00;&#x4E2A;TaskManager JVM&#x8FDB;&#x7A0B;&#x4F1A;&#x6709;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;Task Slot&#xFF08;&#x4E2A;&#x6570;&#x4E00;&#x822C;&#x4E0E;cpu core&#x7684;&#x4E2A;&#x6570;&#x76F8;&#x7B49;&#xFF09;&#xFF0C;&#x6BCF;&#x4E2A;Task Slot&#x80FD;&#x5206;&#x914D;&#x5230;&#x8FD9;&#x4E2A;JVM&#x4E2D;&#x7684;&#x4E00;&#x90E8;&#x5206;&#x8D44;&#x6E90;&#xFF08;&#x5185;&#x5B58;&#xFF09;&#xFF1B;</li>
<li><p>&#x4E00;&#x4E2A;Task Slot&#xFF08;&#x4E2D;&#x7684;&#x8D44;&#x6E90;&#xFF09;&#x53EF;&#x4EE5;&#x88AB;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;&#x7EBF;&#x7A0B;&#x5171;&#x4EAB;&#x3002;&#x4E00;&#x4E2A;&#x7EBF;&#x7A0B;&#x4E2D;&#x8FD0;&#x884C;&#x4E00;&#x4E2A;operator subtask&#x6216;&#x94FE;&#x63A5;&#x8D77;&#x6765;&#x7684;&#x591A;&#x4E2A;operator subtask&#x3002;</p>
<p><img src="image/flink8.png" alt="img"></p>
</li>
</ul>
<p><strong>2.3.4 &#x72B6;&#x6001;&#x5B58;&#x50A8;</strong></p>
<p>&#x4E0A;&#x6587;&#x8BB2;&#x5230;&#xFF0C;streaming dataflow&#x4E2D;&#x7684;&#x4E00;&#x4E9B;operator&#xFF08;&#x5982;windows&#xFF09;&#x662F;&#x6709;&#x72B6;&#x6001;&#x7684;&#x3002;&#x8FD9;&#x4E9B;&#x72B6;&#x6001;&#xFF08;&#x88AB;&#x7D22;&#x5F15;&#x7684;&#x952E;&#x503C;&#x5BF9;&#xFF09;&#x4F5C;&#x4E3A;checkpoint&#x7684;&#x4E00;&#x90E8;&#x5206;&#xFF0C;&#x53EF;&#x4EE5;&#x5B58;&#x50A8;&#x5728;&#x5185;&#x5B58;/HDFS/RocksDB&#x4E2D;&#xFF08;&#x901A;&#x8FC7;&#x914D;&#x7F6E;&#x63A7;&#x5236;&#xFF09;&#x3002;</p>
<p><strong>2.3.5 &#x4FDD;&#x5B58;&#x70B9;&#xFF08;savepoint&#xFF09;</strong></p>
<p>&#x4F7F;&#x7528;DataStream API&#x7F16;&#x5199;&#x7684;Flink&#x7A0B;&#x5E8F;&#x53EF;&#x4EE5;&#x4ECE;&#x4EFB;&#x610F;&#x6307;&#x5B9A;&#x7684;savepoint&#x5F00;&#x59CB;&#x6267;&#x884C;&#x3002;Savepoint&#x5141;&#x8BB8;&#x4F60;&#x201C;&#x51BB;&#x7ED3;&#x201D;stream&#x7684;&#x5904;&#x7406;&#x3001;&#x66F4;&#x65B0;&#x4F60;&#x7684;flink&#x7A0B;&#x5E8F;&#x751A;&#x81F3;&#x4F60;&#x7684;flink&#x96C6;&#x7FA4;&#xFF08;&#x5982;&#x5347;&#x7EA7;&#x7248;&#x672C;&#xFF09;&#xFF0C;&#x7136;&#x540E;&#x53EF;&#x4EE5;&#x4ECE;savepoints&#x6062;&#x590D;&#x6267;&#x884C;&#x3002;</p>
<p>savepoint&#x662F;&#x624B;&#x5DE5;&#x89E6;&#x53D1;&#x7684;checkpoints&#xFF0C;&#x4E5F;&#x4F9D;&#x8D56;checkpointing&#x673A;&#x5236;&#xFF0C;&#x53EF;&#x4EE5;&#x5BF9;&#x5F53;&#x524D;&#x7684;&#x72B6;&#x6001;&#x751F;&#x6210;&#x5FEB;&#x7167;&#x5E76;&#x4FDD;&#x5B58;&#x3002;</p>
<h2 id="24-api&#x5E93;">2.4 API&amp;&#x5E93;</h2>
<p>Flink&#x7A0B;&#x5E8F;&#x4ECE;source&#x4E2D;&#x8BFB;&#x6570;&#x636E;&#xFF08;&#x5982;file/&#x5185;&#x5B58;/kafka topic&#xFF09;&#xFF0C;&#x5728;&#x6570;&#x636E;&#x96C6;&#x4E0A;&#x5B9E;&#x73B0;&#x8F6C;&#x6362;&#xFF08;&#x5982;filtering/mapping/updating state/joining/grouping/defining windows/aggregating&#x7B49;&#xFF09;&#xFF0C;&#x5E76;&#x5C06;&#x5B8C;&#x6210;&#x4E00;&#x7CFB;&#x5217;&#x8F6C;&#x6362;&#x5904;&#x7406;&#x540E;&#x7684;&#x6570;&#x636E;&#x5199;&#x5230;sink&#x4E2D;&#xFF08;&#x5982;file/&#x7EC8;&#x7AEF;&#xFF09;&#x3002;&#x6211;&#x4EEC;&#x53EF;&#x4EE5;&#x7528;DataStream API&#x5904;&#x7406;streaming&#x6570;&#x636E;&#xFF0C;&#x53EF;&#x4EE5;&#x7528;DataSet API&#x5904;&#x7406;batch&#x6570;&#x636E;&#x3002;</p>
<p>Flink API&#x7684;&#x57FA;&#x672C;&#x6982;&#x5FF5;&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html&#x3002;" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html&#x3002;</a></p>
<p><strong>2.4.1 Flink&#x63D0;&#x4F9B;&#x7684;API</strong></p>
<p>&#xFF08;1&#xFF09;DataStream API</p>
<p>&#x5728;data stream&#x4E0A;&#x5B9E;&#x73B0;&#x8F6C;&#x6362;&#xFF0C;&#x5982;filter&#x3001;update state&#x3001;define windows&#x3001;aggregate&#x3002;DataStream&#x4E2D;&#x7684;transformation&#x53EF;&#x4EE5;&#x5C06;&#x4E00;&#x4E2A;&#x6216;&#x591A;&#x4E2A;DataStream&#x8F6C;&#x6362;&#x4E3A;&#x4E00;&#x4E2A;DataStream&#x3002;API&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/datastream_api.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/datastream_api.html</a>&#x3002;</p>
<p>&#x5E38;&#x7528;&#x7684;&#x8F6C;&#x6362;&#x7B97;&#x5B50;&#x5305;&#x62EC;&#xFF1A;</p>
<ul>
<li>map&#xFF1A;&#x8F93;&#x5165;&#x4E00;&#x4E2A;element&#x4EA7;&#x751F;&#x53E6;&#x4E00;&#x4E2A;element&#xFF1B;</li>
<li>flatMap&#xFF1A;&#x8F93;&#x5165;&#x4E00;&#x4E2A;element&#x4EA7;&#x751F;0&#x4E2A;&#x6216;&#x591A;&#x4E2A;element&#xFF1B;</li>
<li>filter&#xFF1A;&#x5BF9;&#x4E00;&#x4E2A;element&#xFF0C;&#x4EC5;&#x5F53;&#x5E03;&#x5C14;&#x51FD;&#x6570;&#x8FD4;&#x56DE;true&#x65F6;&#x4FDD;&#x7559;&#x8FD9;&#x4E2A;element&#xFF1B;</li>
<li>keyBy&#xFF1A;&#x6309;&#x7167;&#x67D0;&#x4E2A;&#x6307;&#x5B9A;&#x7684;key&#x7684;&#x503C;&#xFF0C;&#x5C06;&#x4E00;&#x4E2A;stream&#x5212;&#x5206;&#x4E3A;&#x591A;&#x4E2A;&#x4E0D;&#x76F8;&#x4EA4;&#x7684;partition&#xFF0C;&#x4E00;&#x4E2A;partition&#x4E2D;&#x6240;&#x6709;element&#x7684;&#x8FD9;&#x4E2A;key&#x7684;&#x503C;&#x76F8;&#x540C;&#xFF1B;</li>
<li>reduce&#xFF1A;&#x5C06;&#x5F53;&#x524D;&#x7684;element&#x4E0E;&#x6700;&#x8FD1;&#x4E00;&#x6B21;&#x751F;&#x6210;&#x7684;reduced&#x503C;&#x8FDB;&#x884C;&#x5408;&#x5E76;&#xFF0C;&#x7136;&#x540E;&#x6D88;&#x9664;&#x8FD9;&#x4E2A;element&#xFF08;reduce&#x4F5C;&#x7528;&#x5728;&#x7ECF;&#x8FC7;keyBy&#x7684;&#x6570;&#x636E;&#x6D41;&#x4E0A;&#xFF09;&#xFF1B;</li>
<li>fold&#xFF1A;&#x7C7B;&#x4F3C;&#x4E8E;reduce&#xFF0C;&#x4F46;&#x5B83;&#x662F;&#x5BF9;&#x6D41;&#x4E2D;&#x7684;element&#x8FDB;&#x884C;&#x6298;&#x53E0;&#xFF1B;</li>
<li>&#x805A;&#x5408;&#x7B97;&#x5B50;&#xFF0C;&#x5305;&#x62EC;min&#x3001;minBy&#x3001;max&#x3001;maxBy&#xFF1B;</li>
<li>window&#xFF1A;&#x4E00;&#x4E2A;&#x6D41;&#x88AB;keyBy&#x5212;&#x5206;&#x4E3A;&#x82E5;&#x5E72;&#x4E2A;partition&#x540E;&#xFF0C;&#x5BF9;&#x5404;partition&#x53EF;&#x4EE5;&#x6267;&#x884C;window&#xFF0C;&#x6BD4;&#x5982;&#x6536;&#x96C6;&#x6700;&#x8FD1;5&#x5206;&#x949F;&#x7684;&#x6570;&#x636E;&#xFF1B;</li>
<li>window apply/reduce/fold/&#x805A;&#x5408;&#xFF1A;&#x5BF9;&#x4E00;&#x4E2A;window&#x4E2D;&#x7684;&#x6570;&#x636E;&#x8FDB;&#x884C;&#x67D0;&#x79CD;&#x5904;&#x7406;&#xFF1B;</li>
<li>union&#xFF1A;&#x5C06;&#x591A;&#x4E2A;&#x6D41;&#x5408;&#x5E76;&#x4E3A;&#x4E00;&#x4E2A;&#x6D41;&#xFF0C;&#x8FD9;&#x4E2A;&#x6D41;&#x5305;&#x542B;&#x8FD9;&#x4E9B;&#x6D41;&#x7684;&#x6240;&#x6709;element&#xFF1B;</li>
</ul>
<p>&#x5BF9;&#x4E8E;stream&#x7684;partition&#xFF0C;Flink&#x63D0;&#x4F9B;&#x4E86;&#x81EA;&#x5B9A;&#x4E49;&#x529F;&#x80FD;&#x5BF9;partition&#x8FC7;&#x7A0B;&#x8FDB;&#x884C;&#x5B9A;&#x5236;&#x3002;</p>
<p>&#x6211;&#x4EEC;&#x53EF;&#x4EE5;&#x628A;&#x4E0D;&#x540C;&#x7684;&#x7B97;&#x5B50;&#x94FE;&#x63A5;&#x5230;&#x4E00;&#x8D77;&#xFF0C;&#x4F7F;&#x5F97;&#x5B83;&#x4EEC;&#x5728;&#x4E00;&#x4E2A;&#x76F8;&#x540C;&#x7684;&#x7EBF;&#x7A0B;&#x4E2D;&#x8FD0;&#x884C;&#x4EE5;&#x83B7;&#x5F97;&#x66F4;&#x597D;&#x7684;&#x6027;&#x80FD;&#x8868;&#x73B0;&#x3002;&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;Flink&#x4F1A;&#x5C3D;&#x53EF;&#x80FD;&#x5730;&#x5C06;&#x80FD;&#x94FE;&#x63A5;&#x5230;&#x4E00;&#x8D77;&#x7684;&#x7B97;&#x5B50;&#x94FE;&#x63A5;&#x5230;&#x4E00;&#x8D77;&#x3002;&#x4F46;&#x6211;&#x4EEC;&#x53EF;&#x4EE5;&#x4F7F;&#x7528;&#x7C7B;&#x4F3C;&#x4E8E;startNewChain()&#x3001;disableChaining()&#x8FDB;&#x884C;&#x5E72;&#x9884;&#x3002;</p>
<p>data source&#xFF1A;&#x6570;&#x636E;&#x6E90;&#x53EF;&#x4EE5;&#x662F;&#x57FA;&#x4E8E;&#x6587;&#x4EF6;&#x7684;&#x3001;&#x57FA;&#x4E8E;socket&#x7684;&#x3001;&#x57FA;&#x4E8E;&#x96C6;&#x5408;&#x7684;&#xFF0C;&#x5BF9;&#x4E8E;&#x8FD9;&#x4E9B;&#x7C7B;&#x578B;&#x7684;&#x6570;&#x636E;&#x6E90;Flink&#x90FD;&#x63D0;&#x4F9B;&#x4E86;&#x63A5;&#x53E3;&#x53EF;&#x4EE5;&#x76F4;&#x63A5;&#x4ECE;&#x6307;&#x5B9A;&#x6587;&#x4EF6;&#x6216;socket&#x6216;&#x96C6;&#x5408;&#x8BFB;&#x5165;&#x6570;&#x636E;&#x6D41;&#x3002;Flink&#x4E5F;&#x652F;&#x6301;&#x81EA;&#x5B9A;&#x4E49;source function&#xFF0C;&#x5982;&#x4ECE;kafka&#x4E2D;&#x8BFB;&#x53D6;&#x6570;&#x636E;&#x6D41;&#x3002;Flink&#x652F;&#x6301;&#x4E3A;&#x8BFB;&#x53D6;&#x7684;element&#x6253;&#x4E0A;&#x65F6;&#x95F4;&#x6233;&#x3002;</p>
<p>data sink&#xFF1A;&#x53EF;&#x4EE5;&#x5C06;&#x7ECF;&#x8FC7;&#x5404;&#x79CD;&#x7B97;&#x5B50;&#x5904;&#x7406;&#x540E;&#x7684;&#x6570;&#x636E;&#x6D41;&#x5199;&#x5230;&#x6587;&#x4EF6;&#x3001;csv&#x3001;socket&#x4E2D;&#xFF0C;&#x4E5F;&#x53EF;&#x4EE5;&#x5199;&#x5230;&#x81EA;&#x5B9A;&#x4E49;&#x7684;sink&#xFF08;&#x5982;kafka&#xFF09;&#x3002;</p>
<p>&#xFF08;2&#xFF09;DataSet API</p>
<p>DataSet API&#x5728;data set&#x4E0A;&#x5B9E;&#x73B0;&#x8F6C;&#x6362;&#xFF0C;&#x5982;filter&#x3001;map&#x3001;join&#x3001;group&#x3002;</p>
<p>DataSet API&#x548C;DataStream API&#x7C7B;&#x4F3C;&#xFF08;&#x5927;&#x90E8;&#x5206;&#x7B97;&#x5B50;&#xFF09;&#xFF0C;&#x5C11;&#x6570;&#x7279;&#x6709;&#x7684;&#x5982;&#x4E0B;&#xFF1A;</p>
<ul>
<li>groupBy&#xFF1A;&#x7C7B;&#x4F3C;&#x4E8E;DataStream API&#x4E2D;&#x7684;keyBy&#xFF1B;</li>
<li>dinstinct&#xFF1A;&#x8FD4;&#x56DE;&#x6570;&#x636E;&#x96C6;&#x4E2D;&#x7684;&#x6240;&#x6709;&#x4E0D;&#x540C;&#x5143;&#x7D20;&#xFF1B;</li>
<li>&#x5176;&#x5B83;&#xFF1B;</li>
</ul>
<p>API&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/batch/index.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/batch/index.html</a>&#x3002;</p>
<p>&#xFF08;3&#xFF09;Table API &amp; SQL</p>
<p>Table API&#x662F;&#x4E00;&#x79CD;&#x7C7B;SQL&#x8868;&#x8FBE;&#x5F0F;&#x8BED;&#x8A00;&#xFF0C;&#x53EF;&#x4EE5;&#x7528;&#x4E8E;&#x5173;&#x7CFB;&#x6D41;&#xFF08;relational stream&#xFF09;&#x548C;batch&#xFF0C;&#x53EF;&#x4EE5;&#x5D4C;&#x5165;&#x5230;DataStream API&#x548C;DataSet API&#x4E2D;&#x3002;</p>
<p>Flink&#x7684;SQL&#x652F;&#x6301;&#x662F;&#x57FA;&#x4E8E;Apache Calcite&#x5B9E;&#x73B0;&#x7684;&#xFF0C;&#x5176;&#x4E2D;Apache Calcite&#x5B9E;&#x73B0;&#x4E86;SQL&#x6807;&#x51C6;&#x3002;</p>
<p>Flink&#x7684;Table API&#x548C;SQL&#x5C1A;&#x672A;&#x5B8C;&#x5168;&#x5B9E;&#x73B0;&#xFF0C;&#x5E76;&#x975E;&#x6240;&#x6709;&#x7684;&#x529F;&#x80FD;&#x90FD;&#x80FD;&#x652F;&#x6301;&#xFF0C;&#x8FD8;&#x5728;&#x5F00;&#x53D1;&#x4E2D;&#x3002;</p>
<p>API&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/index.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/index.html</a>&#x3002;</p>
<p><strong>2.4.2 Flink&#x63D0;&#x4F9B;&#x7684;&#x5E93;</strong></p>
<p>&#x57FA;&#x4E8E;Flink&#x7684;&#x66F4;&#x9AD8;level&#x7684;&#x5E93;&#x5305;&#x62EC;&#xFF1A; </p>
<ul>
<li>CEP&#xFF1A;&#x4E8B;&#x4EF6;&#x5904;&#x7406;&#x5E93;&#x3002;&#x5B83;&#x53EF;&#x4EE5;&#x5141;&#x8BB8;&#x4F60;&#x5728;&#x4E00;&#x4E2A;&#x65E0;&#x5C3D;&#x7684;&#x6D41;&#x4E2D;&#x68C0;&#x6D4B;&#x7279;&#x5B9A;&#x7684;event&#xFF0C;&#x4ECE;&#x800C;&#x5904;&#x7406;&#x6D41;&#x4E2D;&#x4F60;&#x7279;&#x522B;&#x5173;&#x6CE8;&#x7684;event&#x3002;</li>
<li>Gelly&#xFF1A;&#x662F;&#x4E00;&#x4E2A;&#x56FE;&#x8BA1;&#x7B97;&#x7528;&#x7684;&#x5E93;&#xFF0C;&#x5B83;&#x63D0;&#x4F9B;&#x4E86;&#x4E00;&#x7EC4;&#x65B9;&#x6CD5;&#x548C;&#x5DE5;&#x5177;&#x7528;&#x4E8E;&#x7B80;&#x5316;&#x56FE;&#x5206;&#x6790;&#x3002;</li>
<li>Machine Learning&#xFF1A;Flink&#x793E;&#x533A;&#x5728;&#x63A8;&#x9001;&#x5B9E;&#x73B0;&#x7684;&#x4E00;&#x4E2A;&#x673A;&#x5668;&#x5B66;&#x4E60;&#x5E93;&#xFF0C;&#x5B9E;&#x73B0;&#x5E38;&#x7528;&#x7684;&#x673A;&#x5668;&#x5B66;&#x4E60;&#x7B97;&#x6CD5;&#xFF0C;&#x5982;SVM&#x3001;&#x591A;&#x5143;&#x7EBF;&#x6027;&#x56DE;&#x5F52;&#x3001;K&#x8FD1;&#x90BB;&#x7B49;&#x3002; </li>
</ul>
<h2 id="25-flink&#x76D1;&#x63A7;">2.5 Flink&#x76D1;&#x63A7;</h2>
<p><strong>2.5.1 Metric&#x76D1;&#x63A7;</strong></p>
<p>Flink&#x5305;&#x542B;&#x4E86;&#x4E00;&#x4E2A;metric&#x7CFB;&#x7EDF;&#xFF0C;&#x53EF;&#x91C7;&#x96C6;&#x7528;&#x6237;&#x8303;&#x56F4;/&#x7CFB;&#x7EDF;&#x8303;&#x56F4;&#x7684;&#x76D1;&#x63A7;&#x6307;&#x6807;&#x5E76;&#x8F93;&#x51FA;&#x7ED9;&#x5916;&#x90E8;&#x76D1;&#x63A7;&#x7CFB;&#x7EDF;&#xFF0C;&#x5982;Ganglia/Graphite/StatsD&#x7B49;&#x3002;&#x91C7;&#x96C6;&#x7684;&#x76D1;&#x63A7;&#x6307;&#x6807;&#x5305;&#x62EC;CPU&#x3001;&#x5185;&#x5B58;&#x3001;&#x7EBF;&#x7A0B;&#x3001;&#x5783;&#x573E;&#x6536;&#x96C6;&#x3001;&#x7C7B;&#x52A0;&#x8F7D;&#x5668;&#x3001;&#x7F51;&#x7EDC;&#x3001;&#x96C6;&#x7FA4;&#x3001;&#x9AD8;&#x53EF;&#x7528;&#x3001;checkpointing&#x3001;IO&#x3001;source&#x8FDE;&#x63A5;&#x5668;&#x7B49;&#x3002;</p>
<p>&#x5F00;&#x53D1;&#x8005;&#x53EF;&#x4EE5;&#x5728;&#x7528;&#x6237;&#x51FD;&#x6570;&#x4E2D;&#x8BBF;&#x95EE;metric&#x7CFB;&#x7EDF;&#xFF0C;&#x81EA;&#x5B9A;&#x4E49;&#x5E76;&#x7EDF;&#x8BA1;metric&#x3002;</p>
<p>&#x8BE6;&#x60C5;&#x53EF;&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/metrics.html&#x3002;" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/metrics.html&#x3002;</a></p>
<p><strong>2.5.2 Checkpoint&#x76D1;&#x63A7;</strong></p>
<p>Flink&#x63D0;&#x4F9B;&#x4E86;dashboard&#x7528;&#x4E8E;&#x76D1;&#x63A7;Job&#x7684;checkpoint&#x3002;&#x5373;&#x4F7F;Job&#x5B8C;&#x6210;&#x8FD0;&#x884C;&#xFF0C;&#x5BF9;&#x5E94;&#x7684;checkpoint&#x7EDF;&#x8BA1;&#x6570;&#x636E;&#x4ECD;&#x7136;&#x662F;&#x53EF;&#x4EE5;&#x67E5;&#x8BE2;&#x7684;&#x3002;&#x8BE6;&#x60C5;&#x53EF;&#x4EE5;&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/checkpoint_monitoring.html&#x3002;" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/checkpoint_monitoring.html&#x3002;</a></p>
<p><strong>2.5.3 Back Pressure&#x76D1;&#x63A7;</strong></p>
<p>&#x5982;&#x679C;&#x4F60;&#x770B;&#x5230;&#x4E00;&#x4E2A;task&#x7684;&#x80CC;&#x538B;&#xFF08;back pressure&#xFF09;&#x544A;&#x8B66;&#xFF0C;&#x8FD9;&#x8868;&#x793A;&#x8FD9;&#x4E2A;task&#x4EA7;&#x751F;&#x6570;&#x636E;&#x7684;&#x901F;&#x5EA6;&#x8D85;&#x8FC7;&#x4E86;&#x4E0B;&#x6E38;operator&#x7684;&#x6D88;&#x8D39;&#x901F;&#x5EA6;&#x3002;&#x6570;&#x636E;&#x5728;job flow&#x4E2D;&#x662F;&#x6309;&#x7167;&#x4ECE;source&#x5230;sink&#x7684;&#x65B9;&#x5411;&#x6D41;&#x52A8;&#x7684;&#xFF0C;&#x800C;&#x80CC;&#x538B;&#x662F;&#x6CBF;&#x7740;&#x76F8;&#x53CD;&#x7684;&#x65B9;&#x5411;&#x4F20;&#x64AD;&#x3002;</p>
<p>&#x8BE6;&#x60C5;&#x53EF;&#x4EE5;&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/back_pressure.html&#x3002;" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/back_pressure.html&#x3002;</a></p>
<p><strong>2.5.4 &#x76D1;&#x63A7;REST API</strong></p>
<p>Flink&#x57FA;&#x4E8E;Netty&#x63D0;&#x4F9B;&#x4E86;&#x4E00;&#x7EC4;&#x76D1;&#x63A7;API&#x7528;&#x4E8E;&#x67E5;&#x8BE2;&#x6B63;&#x5728;&#x8FD0;&#x884C;/&#x6700;&#x8FD1;&#x5B8C;&#x6210;&#x7684;Job&#x7684;&#x72B6;&#x6001;&#x548C;&#x7EDF;&#x8BA1;&#x6570;&#x636E;&#xFF0C;&#x8FD9;&#x4E9B;API&#x7528;&#x4E8E;&#x8F93;&#x51FA;&#x76D1;&#x63A7;&#x6570;&#x636E;&#x7ED9;Flink&#x81EA;&#x8EAB;&#x7684;Dashboard&#xFF0C;&#x4F46;&#x662F;&#x4E5F;&#x53EF;&#x4EE5;&#x7528;&#x4E8E;&#x5F00;&#x53D1;&#x5B9A;&#x5236;&#x5316;&#x7684;&#x76D1;&#x63A7;&#x5DE5;&#x5177;&#x3002;</p>
<p>&#x8BE6;&#x60C5;&#x53EF;&#x4EE5;&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/rest_api.html&#x3002;" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/monitoring/rest_api.html&#x3002;</a></p>
<h1 id="&#x4E09;&#x3001;job&#x5F00;&#x53D1;">&#x4E09;&#x3001;Job&#x5F00;&#x53D1;</h1>
<p>&#x60F3;&#x4E86;&#x4E0B;&#x8FD9;&#x91CC;&#x8FD8;&#x662F;&#x4E0D;&#x51C6;&#x5907;&#x5199;&#x6210;step-by-step&#x7C7B;&#x7684;manual&#x4E86;&#xFF0C;&#x5C31;&#x53EA;&#x662F;&#x7B80;&#x7565;&#x5730;&#x63D0;&#x4F9B;&#x4E00;&#x4E9B;&#x57FA;&#x672C;&#x6B65;&#x9AA4;&#x548C;&#x53C2;&#x8003;&#x4EE3;&#x7801;&#x53CA;&#x6587;&#x6863;&#x3002;</p>
<p><strong>1&#x3001;&#x6839;&#x636E;flink java template&#x521B;&#x5EFA;&#x7A7A;&#x7684;job project</strong></p>
<p>cd&#x5230;&#x4F60;&#x7684;&#x6307;&#x5B9A;&#x76EE;&#x5F55;&#xFF0C;&#x6267;&#x884C;&#xFF1A;</p>
<p>mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.4.2</p>
<p>&#x6267;&#x884C;&#x8FC7;&#x7A0B;&#x4E2D;&#x4F1A;&#x63D0;&#x793A;&#x8BA9;&#x4F60;&#x8F93;&#x5165;groupId&#x3001;artifactId&#x3001;version&#x7B49;&#xFF0C;&#x6700;&#x7EC8;&#x751F;&#x6210;&#x4E00;&#x4E2A;&#x7A7A;&#x7684;job project&#xFF0C;&#x5176;&#x4E2D;&#x5305;&#x542B;&#x4E24;&#x4E2A;Job&#x793A;&#x4F8B;&#xFF08;BatchJob/StreamingJob&#xFF0C;&#x53EF;&#x81EA;&#x884C;&#x5220;&#x9664;&#xFF09;&#x3002;&#x4E0A;&#x8FF0;&#x7248;&#x672C;&#x53F7;&#x53EF;&#x4EE5;&#x9009;&#x7528;&#x4EFB;&#x610F;flink&#x5DF2;&#x53D1;&#x5E03;&#x7248;&#x672C;&#xFF0C;&#x6700;&#x65B0;&#x7248;&#x672C;&#x53F7;&#x662F;1.5.0&#x3002;</p>
<p>&#x901A;&#x8FC7;&#x6A21;&#x677F;&#x751F;&#x6210;project&#xFF0C;&#x53EF;&#x4EE5;&#x7701;&#x53BB;&#x7E41;&#x7410;&#x7684;maven pom&#x914D;&#x7F6E;&#x5DE5;&#x4F5C;&#x3002;</p>
<p>&#x53C2;&#x8003;&#xFF1A;</p>
<p>[1] <a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/quickstart/java_api_quickstart.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/quickstart/java_api_quickstart.html</a></p>
<p>[2] <a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/start/dependencies.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/start/dependencies.html</a></p>
<p><strong>2&#x3001;Job&#x5F00;&#x53D1;&#x4E0E;&#x6253;&#x5305;</strong></p>
<p>&#x4F7F;&#x7528;&#x4E00;&#x4E2A;&#x8D81;&#x624B;&#x7684;IDE&#xFF08;&#x5982;IDEA&#xFF09;&#xFF0C;&#x5C06;&#x4E0A;&#x8FF0;&#x9879;&#x76EE;&#x5BFC;&#x5165;&#x5230;IDE&#x4E2D;&#x5373;&#x53EF;&#x5F00;&#x59CB;&#x7F16;&#x7801;&#x3002;Flink&#x5728;&#x5176;&#x6E90;&#x7801;&#x4E2D;&#x63D0;&#x4F9B;&#x4E86;&#x4E00;&#x4E2A;maven&#x5206;&#x5305;flink-examples&#xFF0C;&#x5185;&#x542B;&#x6279;&#x5904;&#x7406;job&#x548C;&#x6D41;&#x5904;&#x7406;job&#x793A;&#x4F8B;&#xFF0C;&#x53EF;&#x53C2;&#x8003;&#x7F16;&#x5199;&#x3002;</p>
<p>Flink Job&#x5F00;&#x53D1;&#x7684;&#x4E00;&#x4E9B;tips&#xFF1A;<a href="https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/best_practices.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/best_practices.html</a></p>
<p>&#x5B8C;&#x6210;&#x5F00;&#x53D1;&#x540E;&#x6267;&#x884C;mvn clean package&#x5373;&#x53EF;&#x7F16;&#x8BD1;&#x6253;&#x5305;&#xFF0C;&#x4F60;&#x7684;job&#x4EE5;&#x53CA;&#x4F9D;&#x8D56;&#x7684;flink connector&#x3001;library&#xFF08;&#x5982;CEP/SQL/ML&#x7B49;&#xFF09;&#x4F1A;&#x88AB;&#x96C6;&#x6210;&#x5230;jar&#x5305;&#x4E2D;&#xFF0C;&#x800C;flink core&#x76F8;&#x5173;&#x7684;jar&#x5305;&#x4E0D;&#x4F1A;&#x88AB;&#x653E;&#x8FDB;&#x53BB;&#x3002;</p>
<p><strong>3&#x3001;&#x63D0;&#x4EA4;&#x8FD0;&#x884C;</strong></p>
<p>&#x5C06;Job jar&#x5305;&#x901A;&#x8FC7;flink&#x63D0;&#x4F9B;&#x7684;CLI&#x5DE5;&#x5177;&#x63D0;&#x4EA4;&#x5230;Flink&#x96C6;&#x7FA4;&#x8FD0;&#x884C;&#x3002;&#x6267;&#x884C;&#x547D;&#x4EE4;&#x793A;&#x4F8B;&#xFF1A;</p>
<p>./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000</p>
<p>&#x5176;&#x4E2D;&#xFF0C;SocketWindowWordCount.jar&#x662F;&#x4F60;&#x5F00;&#x53D1;&#x6253;&#x5305;&#x751F;&#x6210;&#x7684;jar&#x5305;&#xFF0C;--port 9000&#x662F;&#x8FD9;&#x4E2A;job&#x81EA;&#x5B9A;&#x4E49;&#x7684;&#x53C2;&#x6570;&#x3002;</p>
<p>CLI&#x5DE5;&#x5177;&#x53C2;&#x8003;&#xFF1A;<a href="https://ci.apache.org/projects/flink/flink-docs-master/ops/cli.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-master/ops/cli.html</a></p>
<h1 id="&#x56DB;&#x3001;flink&#x6E90;&#x7801;&#x7814;&#x8BFB;&#x51C6;&#x5907;">&#x56DB;&#x3001;Flink&#x6E90;&#x7801;&#x7814;&#x8BFB;&#x51C6;&#x5907;</h1>
<h2 id="41-&#x811A;&#x672C;&#x5206;&#x6790;">4.1 &#x811A;&#x672C;&#x5206;&#x6790;</h2>
<p>Flink&#x63D0;&#x4F9B;&#x4E86;&#x7CFB;&#x5217;shell&#x811A;&#x672C;&#x7528;&#x4E8E;flink&#x96C6;&#x7FA4;&#x7BA1;&#x7406;&#x3001;job&#x63D0;&#x4EA4;&#x7B49;&#xFF0C;&#x901A;&#x8FC7;&#x5206;&#x6790;&#x8FD9;&#x4E9B;&#x811A;&#x672C;&#x627E;&#x5230;&#x81EA;&#x5DF1;&#x6240;&#x5173;&#x5FC3;&#x7684;&#x6838;&#x5FC3;&#x94FE;&#x8DEF;&#x5165;&#x53E3;&#x662F;&#x6BD4;&#x8F83;&#x5408;&#x9002;&#x7684;&#x3002;</p>
<p><strong>4.1.1 &#x542F;&#x52A8;&#x811A;&#x672C;</strong></p>
<p>Flink&#x63D0;&#x4F9B;&#x4E86;&#x4E24;&#x4E2A;&#x542F;&#x52A8;&#x811A;&#x672C;&#xFF1A;bin/start-local.sh&#x7528;&#x4E8E;&#x542F;&#x52A8;&#x5355;&#x673A;&#x6A21;&#x5F0F;&#x7684;Flink&#xFF1B;bin/start-cluster.sh&#x7528;&#x4E8E;&#x542F;&#x52A8;&#x96C6;&#x7FA4;&#x6A21;&#x5F0F;&#x7684;Flink&#x3002;</p>
<p>&#xFF08;1&#xFF09;start-local.sh</p>
<ul>
<li>&#x89E3;&#x6790;&#x63D0;&#x53D6;flink-yaml.xml&#x4E2D;&#x7684;&#x914D;&#x7F6E;&#x9879;&#xFF0C;&#x5404;&#x914D;&#x7F6E;&#x9879;&#x7684;&#x542B;&#x4E49;&#x53EF;&#x53C2;&#x8003;<a href="https://ci.apache.org/projects/flink/flink-docs-master/ops/config.html&#x3002;" target="_blank">https://ci.apache.org/projects/flink/flink-docs-master/ops/config.html&#x3002;</a></li>
<li>&#x4EE5;daemon&#x6A21;&#x5F0F;&#x542F;&#x52A8;jobmanager&#x8FDB;&#x7A0B;&#xFF08;&#x5E76;&#x5206;&#x51FA;&#x4E00;&#x4E2A;&#x7EBF;&#x7A0B;&#x542F;&#x52A8;taskmanager&#xFF09;&#x3002;</li>
</ul>
<p>&#xFF08;2&#xFF09;start-cluster.sh</p>
<ul>
<li>&#x89E3;&#x6790;&#x63D0;&#x53D6;flink-yaml.xml&#x4E2D;&#x7684;&#x914D;&#x7F6E;&#x9879;&#x3002;</li>
<li>&#x901A;&#x8FC7;ssh&#x8FDC;&#x7A0B;&#x542F;&#x52A8;&#x5404;master&#x673A;&#x5668;&#x4E0A;&#x7684;jobmaster&#x8FDB;&#x7A0B;&#xFF08;&#x9700;&#x8981;&#x5728;conf/masters&#x4E2D;&#x914D;&#x7F6E;master&#x673A;&#x5668;&#x7684;ip&#x5730;&#x5740;&#xFF0C;&#x9ED8;&#x8BA4;&#x662F;localhost:8081&#xFF09;&#x3002;</li>
<li>&#x542F;&#x52A8;taskmanager&#x8FDB;&#x7A0B;&#xFF08;&#x9700;&#x8981;&#x5728;conf/slaves&#x914D;&#x7F6E;slave&#x673A;&#x5668;&#x7684;ip&#x5730;&#x5740;&#xFF0C;&#x901A;&#x5E38;&#x662F;localhost&#xFF09;&#x3002;</li>
</ul>
<p>&#x7531;flink-daemon.sh&#x53EF;&#x77E5;&#xFF0C;Flink&#x4E2D;&#x5404;&#x4E3B;&#x8981;&#x8FDB;&#x7A0B;&#x7684;&#x5165;&#x53E3;&#x5BF9;&#x5E94;&#x5173;&#x7CFB;&#x5982;&#x4E0B;&#xFF1A;</p>
<p>| jobmanager      | org.apache.flink.runtime.jobmanager.JobManager                             |
| taskmanager    | org.apache.flink.runtime.taskmanager.TaskManager                          |
| &#x5185;&#x7F6E;zookeeper | org.apache.flink.runtime.zookeeper.FlinkZooKeeperQuorumPeer   |
| historyserver    | org.apache.flink.runtime.webmonitor.history.HistoryServer             |</p>
<p><strong>4.1.2 CLI&#x811A;&#x672C;</strong></p>
<p>Flink&#x63D0;&#x4F9B;&#x7684;CLI&#x811A;&#x672C;&#x662F;bin/flink&#xFF0C;&#x53EF;&#x4EE5;&#x901A;&#x8FC7;&#x8BE5;&#x811A;&#x672C;&#x63D0;&#x4EA4;Job&#x3001;&#x521B;&#x5EFA;Savepoint&#x7B49;&#x3002;</p>
<p>&#x811A;&#x672C;&#x7684;&#x4E3B;&#x8981;&#x6D41;&#x7A0B;&#xFF1A;</p>
<ul>
<li>&#x89E3;&#x6790;&#x63D0;&#x53D6;flink-yaml.xml&#x4E2D;&#x7684;&#x914D;&#x7F6E;&#x9879;&#x3002;</li>
<li>&#x901A;&#x8FC7;Client&#x5165;&#x53E3;org.apache.flink.client.CliFrontend&#x8FDE;&#x63A5;&#x5230;JobManager&#x5E76;&#x53D1;&#x9001;&#x6D88;&#x606F;&#x3002;</li>
</ul>
<h2 id="42-&#x6E90;&#x7801;debug&#x65B9;&#x6CD5;">4.2 &#x6E90;&#x7801;debug&#x65B9;&#x6CD5;</h2>
<p>Flink&#x662F;&#x5F00;&#x6E90;&#x7684;&#xFF0C;&#x4EE3;&#x7801;&#x6258;&#x7BA1;&#x5728;Github&#x4E0A;&#xFF0C;&#x53EF;&#x4EE5;&#x9009;&#x62E9;&#x4E00;&#x4E2A;&#x5408;&#x9002;&#x7684;&#x7248;&#x672C;&#x5C06;Flink&#x6E90;&#x7801;clone&#x4E0B;&#x6765;&#x3002;&#x4E5F;&#x53EF;&#x4EE5;&#x76F4;&#x63A5;&#x4ECE;Flink&#x5B98;&#x7F51;&#x4E0A;&#x4E0B;&#x8F7D;&#x4E0B;&#x6765;&#xFF0C;&#x94FE;&#x63A5;<a href="http://flink.apache.org/downloads.html#source&#x3002;Flink&#x6E90;&#x7801;&#x7684;&#x7EC4;&#x6210;&#x7ED3;&#x6784;&#x6E05;&#x6670;&#x660E;&#x4E86;&#xFF0C;&#x6BCF;&#x4E2A;&#x5206;&#x5305;&#x7684;&#x529F;&#x80FD;&#x89C1;&#x540D;&#x77E5;&#x610F;&#x3002;" target="_blank">http://flink.apache.org/downloads.html#source&#x3002;Flink&#x6E90;&#x7801;&#x7684;&#x7EC4;&#x6210;&#x7ED3;&#x6784;&#x6E05;&#x6670;&#x660E;&#x4E86;&#xFF0C;&#x6BCF;&#x4E2A;&#x5206;&#x5305;&#x7684;&#x529F;&#x80FD;&#x89C1;&#x540D;&#x77E5;&#x610F;&#x3002;</a></p>
<p>&#x7F16;&#x8BD1;&#x6E90;&#x7801;&#xFF1A;mvn clean install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true</p>
<p>&#x53C2;&#x8003;&#xFF1A;<a href="https://ci.apache.org/projects/flink/flink-docs-master/start/building.html" target="_blank">https://ci.apache.org/projects/flink/flink-docs-master/start/building.html</a></p>
<p>&#x5C06;&#x6E90;&#x7801;&#x5BFC;&#x5165;&#x5230;IDE&#x4E2D;&#xFF08;&#x5982;IDEA&#xFF09;&#xFF0C;&#x672C;&#x5730;debug&#x57FA;&#x672C;&#x65B9;&#x6CD5;&#x5982;&#x4E0B;&#xFF1A;</p>
<p>1&#x3001;&#x5728;jvm&#x542F;&#x52A8;&#x53C2;&#x6570;&#x4E2D;&#x6DFB;&#x52A0;&#x8FDC;&#x7A0B;&#x8C03;&#x8BD5;&#x53C2;&#x6570;</p>
<p>&#xFF08;1&#xFF09;&#x5982;&#x679C;&#x662F;&#x8C03;&#x8BD5;Client&#xFF0C;&#x53EF;&#x4EE5;&#x5C06;&#x4E0A;&#x8FF0;&#x53C2;&#x6570;&#x52A0;&#x5230;bin/flink&#x811A;&#x672C;&#x7684;&#x6700;&#x540E;&#x4E00;&#x884C;&#x4E2D;&#xFF0C;&#x5F62;&#x5982;&#xFF1A;
JVM_REMOTE_DEBUG_ARGS=&apos;-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005&apos;
exec $JAVA_RUN $JVM_ARGS $JVM_REMOTE_DEBUG_ARGS &quot;${log_setting[@]}&quot; -classpath &quot;<code>manglePathList &quot;$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS&quot;</code>&quot; org.apache.flink.client.CliFrontend &quot;$@&quot;
&#xFF08;2&#xFF09;&#x5982;&#x679C;&#x662F;&#x8C03;&#x8BD5;JobManager&#x6216;TaskManager&#xFF0C;&#x53EF;&#x4EE5;&#x5728;conf/flink-conf.yaml&#x4E2D;&#x6DFB;&#x52A0;&#xFF1A;</p>
<p>env.java.opts: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5006</p>
<p>2&#x3001;&#x542F;&#x52A8;flink client&#x6216;jobmanager&#x6216;taskmanager&#xFF0C;&#x6B64;&#x65F6;&#x7A0B;&#x5E8F;&#x4F1A;suspend&#x7B49;&#x5F85;debuger&#x8FDE;&#x63A5;&#xFF08;&#x901A;&#x8FC7;suspend=y&#x6765;&#x914D;&#x7F6E;&#xFF09;&#x3002;</p>
<p>3&#x3001;&#x914D;&#x7F6E;IDEA&#x4E2D;&#x7684;remote&#xFF1A;host&#x914D;&#x7F6E;&#x4E3A;localhost&#xFF0C;&#x914D;&#x7F6E;port&#xFF08;&#x53C2;&#x8003;1&#x4E2D;&#x7684;&#x914D;&#x7F6E;&#x7684;address&#x7AEF;&#x53E3;&#xFF09;&#x3002;</p>
<p>4&#x3001;&#x5728;Flink&#x6E90;&#x7801;&#x4E2D;&#x8BBE;&#x7F6E;&#x65AD;&#x70B9;&#xFF0C;&#x8FDE;&#x63A5;&#x8FDC;&#x7A0B;host&#xFF0C;&#x7136;&#x540E;&#x5C31;&#x53EF;&#x4EE5;&#x5F00;&#x59CB;debug&#x8DDF;&#x8E2A;&#x4E86;&#x3002;</p>
<h1 id="&#x4E0B;&#x671F;&#x9884;&#x544A;">&#x4E0B;&#x671F;&#x9884;&#x544A;</h1>
<p>Job&#x7684;Flink&#x4E4B;&#x65C5;&#xFF0C;&#x63A2;&#x8BA8;Job&#x5728;Flink&#x4E2D;&#x7684;Client/JobManager/TaskManager&#x4E2D;&#x5206;&#x522B;&#x7ECF;&#x5386;&#x4E86;&#x600E;&#x6837;&#x7684;&#x8F6C;&#x6362;&#x3001;Task&#x5982;&#x4F55;&#x8C03;&#x5EA6;&#x7B49;&#x3002;</p>

                                
                                </section>
                            
    </div>
    <div class="search-results">
        <div class="has-results">
            
            <h1 class="search-results-title"><span class='search-results-count'></span> results matching "<span class='search-query'></span>"</h1>
            <ul class="search-results-list"></ul>
            
        </div>
        <div class="no-results">
            
            <h1 class="search-results-title">No results matching "<span class='search-query'></span>"</h1>
            
        </div>
    </div>
</div>

                        </div>
                    </div>
                
            </div>

            
                <a href="install.html" class="navigation navigation-prev " aria-label="Previous page: 部署">
                    <i class="fa fa-angle-left"></i>
                </a>
                
                
                <a href="从源码构建Flink.html" class="navigation navigation-next " aria-label="Next page: 从源码构建Flink">
                    <i class="fa fa-angle-right"></i>
                </a>
                
            
    </div>

    <script>
        var gitbook = gitbook || [];
        gitbook.push(function() {
            gitbook.page.hasChanged({"page":{"title":"Flink概述与源码研读准备","level":"1.11.4","depth":2,"next":{"title":"从源码构建Flink","level":"1.11.5","depth":2,"path":"ch9/从源码构建Flink.md","ref":"ch9/从源码构建Flink.md","articles":[]},"previous":{"title":"部署","level":"1.11.3","depth":2,"path":"ch9/install.md","ref":"ch9/install.md","articles":[]},"dir":"ltr"},"config":{"gitbook":"*","theme":"default","variables":{},"plugins":[],"pluginsConfig":{"highlight":{},"search":{},"lunr":{"maxIndexSize":1000000,"ignoreSpecialCharacters":false},"sharing":{"facebook":true,"twitter":true,"google":false,"weibo":false,"instapaper":false,"vk":false,"all":["facebook","google","twitter","weibo","instapaper"]},"fontsettings":{"theme":"white","family":"sans","size":2},"theme-default":{"styles":{"website":"styles/website.css","pdf":"styles/pdf.css","epub":"styles/epub.css","mobi":"styles/mobi.css","ebook":"styles/ebook.css","print":"styles/print.css"},"showLevel":false}},"structure":{"langs":"LANGS.md","readme":"README.md","glossary":"GLOSSARY.md","summary":"SUMMARY.md"},"pdf":{"pageNumbers":true,"fontSize":12,"fontFamily":"Arial","paperSize":"a4","chapterMark":"pagebreak","pageBreaksBefore":"/","margin":{"right":62,"left":62,"top":56,"bottom":56}},"styles":{"website":"styles/website.css","pdf":"styles/pdf.css","epub":"styles/epub.css","mobi":"styles/mobi.css","ebook":"styles/ebook.css","print":"styles/print.css"}},"file":{"path":"ch9/Flink概述与源码研读准备.md","mtime":"2020-05-09T01:51:46.286Z","type":"markdown"},"gitbook":{"version":"3.2.3","time":"2020-05-09T01:56:32.881Z"},"basePath":"..","book":{"language":""}});
        });
    </script>
</div>

        
    <script src="../gitbook/gitbook.js"></script>
    <script src="../gitbook/theme.js"></script>
    
        
        <script src="../gitbook/gitbook-plugin-search/search-engine.js"></script>
        
    
        <script src="../gitbook/gitbook-plugin-search/search.js"></script>
        
    
        <script src="../gitbook/gitbook-plugin-lunr/lunr.min.js"></script>
        
    
        <script src="../gitbook/gitbook-plugin-lunr/search-lunr.js"></script>
        
    
        <script src="../gitbook/gitbook-plugin-sharing/buttons.js"></script>
        
    
        <script src="../gitbook/gitbook-plugin-fontsettings/fontsettings.js"></script>
        
    
    </body>
</html>