Technology Learning Note Collection

记录项目：
技术学习中产生的笔记、代码以及自己的一些想法与小总结；
工作实践中部分关键代码的实现方法及相关资源整理；
学习与工作中遇到的问题及其解决办法。

Elastic Stack & Kafka

部署

• elk 集群_ansible playbook 部署(1)_依赖配置
• elk 集群_ansible playbook 部署(2)_filebeat 文本收集
• elk 集群_ansible playbook 部署(3)_kafka 消息队列
• elk 集群_ansible playbook 部署(4)_logstash 过滤分析
• elk 集群_ansible playbook 部署(5)_elasticsearch 集群
• elk 集群_ansible playbook 部署(6)_kibana 可视化
• elk 集群_ansible playbook 部署(7)_kafka SSL 加密传输
• elk 集群_ansible playbook 部署(8)_xpack 用户认证配置

使用

• elk 日志分析_nginx_logstash grok & filter
• elk 日志分析_ java logback json 业务日志_logstash filter
• es 插件_Elasticsearch 7.1.1 安装 pinyin 分词器插件
• es 插件_ ik 中文分词器、自定义词典
• es 集群节点滚动更新

优化

• es 集群优化_elasticsearch 节点重启后报 master not discovered or elected yet 无法选举 master 问题解决
• es 集群优化_程序无法在 es 集群自动创建 index 问题解决
• es 集群优化_设置 fielddata 缓存自动清理
• es 集群优化_es 集群磁盘使用量达 95% 或单节点分片数达 1000 致 index 被设只读锁数据无法写入
• es 集群优化_磁盘水印低 Low disk watermark 导致集群节点分片分配不均匀问题解决

数据迁移同步

• es 数据迁移_elasticsearch-dump 全量迁移 es 数据
• es 数据同步_canal 通过 mysql binlog 实时增量同步 mysql 数据到 elasticsearch

docker & kubernetes

• docker、docker-compose 安装、镜像源修改

• docker 使用阿里云容器镜像仓库

• docker 常用命令、dockerfile_python flask example

• docker-compose 部署 sentry 多语言错误跟踪工具

• NVIDIA GPU 算法专用容器 nvidia-docker 部署

• Kubernetes In Docker Kind 部署使用

• Kubernetes helm 部署使用

• k8s ImagePullSecrets 设置使用阿里云私有镜像仓库

• k8s 集群新增 gpu 节点并基于 NodeLabel 通过 nodeSelector 调度部署应用

Server

Nginx

• Nginx 两次跳转反代静态文件、后端服务、域名配置（公网访问办公网内服务）
• Linux(ubuntu)-Nginx-MySQL-PHP 架构 apt-get 安装配置
• Linux(CentOS7)-Nginx-MariaDB-PHP 架构 源码安装及配置
  
• Nginx 原理与特性
• Nginx 日志文件与切分备份
• Nginx 性能优化
• Nginx 流量及并发连接数限制
• Nginx 访问控制及 DDOS 预防
• Nginx 日志显示真实IP
• Nginx 动态加载模块

APM

Apache SkyWalking

• Apache SkyWalking 分布式应用系统 apm 服务端部署
• Apache SkyWalking 客户端 java-agent 接入 jar、jetty、tomcat

JAVA

• JVM 性能 jstack 排查 java 进程 CPU 占用率高
• JVM 性能 jmap 生成 dump 文件排查 java 进程内存使用率高

Python

Python3 基础

• Python 基础语法
• Python 解释器
• Python 序列：序列类型、通用基本操作
• Python 序列：列表 list
• Python 序列：元组 tuple
• Python 序列：字符串 string
• Python 映射：字典 dictionary
• Python 语句：赋值、条件、循环及其他语句
• Python 迭代与推导
• Python 函数
• Python 面向对象：类、实例、属性、方法
• Python 错误和异常
• Python 面向对象：魔法方法 Special method、特性 property、迭代器 iterator
• Python *.py直接执行和导入解释器执行的传参问题

Python3 模块

标准库

• Python 模块
• Python 集合 set、堆 heapq、双端队列 deque、队列 queue
• Python 日期与时间 time
• Python 随机与统计 random
• Python 原始类与 JSON 对象转换
• Python 正则表达式 re
• Python IO编程：文件 fileinput

第三方库

• Python 通过 psutil 对 linux 进行监控
• Python 通过 yagmail 发送邮件

Python3 web

• Python 使用CGI创建动态网页 cgi、cgitb

Python3 工具

• Python 程序打包 Setuptools
• Python 虚拟python环境 virtualenv
• Python linux交互式监控工具 glances

Python3 算法

• Python 算法：二分法查找、选择排序、快速排序
• Python 算法：广度优先算法（路径最短）、狄克斯特拉算法（花销最少）

Databases

数据库基础

• RDBMS 与 NoSQL 的对比(CAP理论)
• SQL 语句

MySQL

• python3 连接并操作 MySQL(MariaDB)
• MySQL 数据类型优化
• MySQL InnoDB锁机制

Linux

Linux 相关知识

• Linux 常用命令(无格式)
• Linux 目录结构
• Linux 文件目录命名规则
• Linux 文件搜索 whereis、locate、which、find
• Linux 打包压缩和解压 tar
• Linux 用户及文件权限管理
• Linux 特殊权限管理 ACL、SUID、SGID、Sticky BIT
• Linux 系统性能监控常用命令

Linux 设备与文件系统

• Linux 删除多余无用分区 （命令 df lsblk fdisk）
• Linux 文件系统根目录所在磁盘扩容 LVM

Linux 进程与服务

• Linux 内核、进程、线程 （命令 ps top kill）
• Linux IO模型：同步、异步、阻塞、非阻塞
• Linux daemons 启动与管理 init、systemd
• Linux 端口与网络服务管理
• Linux 日志系统 rsyslog logrotate systemd-journal logwatch
• Linux 时间同步 NTP
• Linux 例行性工作 crontab
• Linux 进程后台运行 nohup

Linux 软件安装

数据库

• Linux yum安装配置 MySQL（MariaDB）
• Linux 源码安装 MongoDB

编程语言

• Linux 源码安装 python3
• Linux CentOS7 在 python2、python3 共存状态下安装 pip2 和 pip3
• Linux 源码安装 Node.js

Linux 相关工具

• Linux win使用putty通过ssh传文件
• Linux git 配置与使用

shell

• shell linux 默认shell bash
• shell 变量功能
• shell 特殊字符、数据流重定向
• shell 正则表达式
• shell 管道命令
• shell script 逻辑判断
• shell script 变量、函数、循环、追踪调试

VMware

VMware 相关操作

• VMware 删除旧快照
• VMware 合并多个 vmdk
• VMware CentOS7虚拟机 网络配置 NAT
• VMware 虚拟机扩容
• VMware 物理机磁盘空间不足问题解决

Network

Cisco Certified Network Associate

思科认证 网络工程师 CCNA Score: 986/1000 Cisco Certified Network Associate Routing and Switching

思科网络硬件配置

• 路由选择：开放最短路径优先 OSPF 原理与配置
• 动态主机配置协议 DHCP 原理及配置
• 超文本传输协议 http 与 DNS server 原理及配置