今天发现了一个神奇的东西,名字叫 Cheat Sheet,就是各种语言工具的快捷键列表,这个对于我这样记不住各种东西的菜鸟帮助太大了,平时边用边记。 老年跟菜鸟的区别可能就是你对各种工具快捷键的熟悉程度。记录下常用的几个,纳入自己工作流当中。 - **Python 语言(有中文且也有其他工具语言的)...
标签: Shell
-
SQLBoy日常工作技巧
入职新工作三周了,虽然还处理 SQLBoy 阶段,但是学习到了非常多小技巧,有必要记录一下,持续更新,避免遗忘。 - 规范需求记录,脚本备份,文档归类,代码片段,数字字典 - 封装公共参数和大数据脚本执行参数到脚本当中,执行脚本只需要引入变量 - 每一种 SQL 脚本方式封装一个方法,固定脚本执行格...
-
Awk和Shell
awk 格式 - `awk [选项参数] 'script' var=value file(s)` - 基本语法 - $0 代表整个文本行 - $1 代表文本行中的第 1 个数据字段 - printf 打印输出 - 默认每行按空格或TAB分割,使用$n来获取段号 段连接符OFS - `awk '{OF...
-
Sqoop自动化抽取数据与验证
前言说明 最近项目业务数据源多种多样,用 Sqoop 抽取数据到数仓是一个体力活,底层又是基于 MapReduce 执行的,速度感人,关键是还得做数据校验 于是想着自己写个工具类,和自动建表建库类似,自动读取数据源表和字段信息,创建对应脚本,扔到 DolphinScheduler 上自动跑就完事。 ...
-
大数据常用脚本
一键启动 一键启动常用服务 ```bash #!/bin/bash if [ ! $1 ] then echo "please input [start|stop]" exit 1 fi #start hadoop echo " ----------- $1 dfs ------------ " s...
-
大数据常用命令
MySQL ```sql 启动 service mysqld start systemctl start mysql[d] 关闭 service mysqld stop #设置mysql开机启动 chkconfig mysqld on ``` Hadoop ```bash 全局组件启动与停止 sta...