[Mac]一步一步教你 HTTPS 抓包

在 Mac 上常用的抓包软件是 Charles,网上关于 Charles 的教程很多,这里介绍另一个抓包神器 mitmproxy。mitmproxy 是一款可交互式的命令行抓包工具,它除了可以抓包查看 http/https 请求,还有一个很强大的功能是拦截并修改 request 或者 response,后面我会用实际例子演示如何修改知乎的回答:)

安装

mitmproxy 官网 介绍了用以下命令来安装

pip install mitmproxy

我在实际安装过程中遇到了一些坑,首先是 OSX El Capitan 及以上的系统版本在安装时会出现 six 模块依赖错误,具体可以看这儿的讨论。还有一个问题是安装过程中会出现权限错误,需要以 root 权限执行。最后用以下命令成功安装,安装不了需要翻一下墙

pip install mitmproxy --ignore-installed six

开始使用

首先需要配置一下网络环境,将手机和电脑连在同一个 wifi 环境下,然后进入手机的 设置 – 无线局域网,点击当前连接的 wifi 进入详情设置页面,在 http 代理那一栏输入当前连接的 ip 地址,端口填8080,这个 ip 地址可以在电脑上的 系统偏好 – 网络 里查看,配置完成如下图,


网络环境配置完成后我们可以开始实际的抓包了,只需在电脑上打开终端(命令行操作窗口),然后输入 mitmproxy -p 8080,如果你看到如下页面说明你已成功进入抓包模式,迈出了第一步,cheer~


接下去你可以用手机打开一些 App,不出意外你能看到一些 http 请求的列表。这时候我们还无法抓到 https 的包,还需要做一些额外配置。

下面的操作是针对 iPhone 手机,其他设备也类似。用 iPhone 打开 Safari 浏览器并输入 mitm.it,这时你会看到如下页面,


选择对应平台并安装证书,安装完成后就可以抓 https 的包了,官网上解释了这个工具是如何工作的

注意:用浏览器打开时需要已经在抓包模式,否则是无法看到上述页面的

好了,到这里我们已经完成了所有的准备工作,接下去就和我一起实际体验一下 https 的抓包过程吧。

这里以知乎为例,用手机打开知乎,我们应该能看到知乎的请求出现在列表里了,类似下图:


键盘上下移动,Enter 键进入查看详情,按 Tab 键切换顶部导航栏,如下图所示,


Tips:输入z可以清空列表,输入f再输入~u xxx可以过滤出 url 为 xxx 的请求,更多匹配规则输入? 查看

请求拦截

上面演示的是常规的操作,下面介绍一下 mitmproxy 的另一强大功能,拦截修改 request 和 response。

输入 i,然后输入 ~s 再按回车键,这时候就进入了 response 拦截模式。如果输入 ~q 则进入 request 的拦截模式,更多的命令可以输入 查看。拦截模式下的页面显示如下图所示,


其中橘红色的表示请求正被拦截,这时 Enter 进入后 再按 e 就可以修改 request 或者 response。修改时是用 vim 进行编辑的,修改完成后按 a 将请求放行,如果要放行所有请求输入 A 即可。

下图是我修改了某个答案的 response 请求将回答者的名字做了修改,因为只修改了 response 并不会影响其他的用户显示:)


上面提到的那些指令在输入 后都能查看到,如下图,另外官网上也有很详细的说明


我用上述方式尝试了大多数的 App,包括淘宝、微博,都能抓到 https 的包,有些有加密,有些没有加密。但是简书做了防中间人攻击的设置,一启用抓包模式就显示网络错误1012,还是做的很不错的,赞一个~

按照上面的过程就可以 https 抓包了,如果有遇到问题可以联系我,记得抓完后将手机 wifi 设置里的 http 代理关闭。开始实际体验一下吧,enjoy~

 

TODO:安装的时候出错…

[转]二维码编码原理简介

一、什么是二维码:
二维码 (2-dimensional bar code),是用某种特定的几何图形按一定规律在平面(二维方向上)
分布的黑白相间的图形记录数据符号信息的。

在许多种类的二维条码中,常用的码制有:Data Matrix, Maxi Code, Aztec, QR Code, Vericode, PDF417, Ultracode, Code 49, Code 16K等。
  1.堆叠式/行排式二维条码,如,Code 16K、Code 49、PDF417(如下图)等

2.矩阵式二维码,最流行莫过于QR CODE
二维码的名称是相对与一维码来说的,比如以前的条形码就是一个“一维码”,
它的优点有:二维码存储的数据量更大;可以包含数字、字符,及中文文本等混合内容;有一定的容错性(在部分损坏以后可以正常读取);空间利用率高等。

二、QR CODE 介绍
QR(Quick-Response) code是被广泛使用的一种二维码,解码速度快。
它可以存储多用类型

如上图时一个qrcode的基本结构,其中:
位置探测图形、位置探测图形分隔符、定位图形:用于对二维码的定位,对每个QR码来说,位置都是固定存在的,只是大小规格会有所差异;
校正图形:规格确定,校正图形的数量和位置也就确定了;
格式信息:表示改二维码的纠错级别,分为L、M、Q、H;

版本信息:即二维码的规格,QR码符号共有40种规格的矩阵(一般为黑白色),从21×21(版本1),到177×177(版本40),每一版本符号比前一版本 每边增加4个模块。
数据和纠错码字:实际保存的二维码信息,和纠错码字(用于修正二维码损坏带来的错误)。

简要的编码过程:
  1. 数据分析:确定编码的字符类型,按相应的字符集转换成符号字符; 选择纠错等级,在规格一定的条件下,纠错等级越高其真实数据的容量越小。

    2. 数据编码:将数据字符转换为位流,每8位一个码字,整体构成一个数据的码字序列。其实知道这个数据码字序列就知道了二维码的数据内容。


数据可以按照一种模式进行编码,以便进行更高效的解码,例如:对数据:01234567编码(版本1-H),
1)分组:012 345 67
2)转成二进制:012→0000001100
345→0101011001
67 →1000011
3)转成序列:0000001100 0101011001 1000011
4)字符数 转成二进制:8→0000001000
5)加入模式指示符(上图数字)0001:0001 0000001000 0000001100 0101011001 1000011
对于字母、中文、日文等只是分组的方式、模式等内容有所区别。基本方法是一致的

  3. 纠错编码:按需要将上面的码字序列分块,并根据纠错等级和分块的码字,产生纠错码字,并把纠错码字加入到数据码字序列后面,成为一个新的序列。

在二维码规格和纠错等级确定的情况下,其实它所能容纳的码字总数和纠错码字数也就确定了,比如:版本10,纠错等级时H时,总共能容纳346个码字,其中224个纠错码字。
就是说二维码区域中大约1/3的码字时冗余的。对于这224个纠错码字,它能够纠正112个替代错误(如黑白颠倒)或者224个据读错误(无法读到或者无法译码),
这样纠错容量为:112/346=32.4%

4. 构造最终数据信息:在规格确定的条件下,将上面产生的序列按次序放如分块中
按规定把数据分块,然后对每一块进行计算,得出相应的纠错码字区块,把纠错码字区块 按顺序构成一个序列,添加到原先的数据码字序列后面。
如:D1, D12, D23, D35, D2, D13, D24, D36, … D11, D22, D33, D45, D34, D46, E1, E23,E45, E67, E2, E24, E46, E68,…

构造矩阵:将探测图形、分隔符、定位图形、校正图形和码字模块放入矩阵中。

把上面的完整序列填充到相应规格的二维码矩阵的区域中

  6. 掩摸:将掩摸图形用于符号的编码区域,使得二维码图形中的深色和浅色(黑色和白色)区域能够比率最优的分布。
一个算法,不研究了,有兴趣的同学可以继续。
    7. 格式和版本信息:生成格式和版本信息放入相应区域内。
版本7-40都包含了版本信息,没有版本信息的全为0。二维码上两个位置包含了版本信息,它们是冗余的。
版本信息共18位,6X3的矩阵,其中6位时数据为,如版本号8,数据位的信息时 001000,后面的12位是纠错位。

[SQL注入]使用sqlmap进行简单的mysql注入

最近使用了sqlmap进行了简单的操作。现在先说明sqlmap的一些参数:

  1. #HiRoot’s Blog
  2. Options(选项):
  3. –version 显示程序的版本号并退出
  4. -h, –help 显示此帮助消息并退出
  5. -v VERBOSE 详细级别:0-6(默认为1)
  6. Target(目标):
  7. 以下至少需要设置其中一个选项,设置目标URL。
  8. -d DIRECT 直接连接到数据库。
  9. -u URL, –url=URL 目标URL。
  10. -l LIST 从Burp或WebScarab代理的日志中解析目标。
  11. -r REQUESTFILE 从一个文件中载入HTTP请求。
  12. -g GOOGLEDORK 处理Google dork的结果作为目标URL。
  13. -c CONFIGFILE 从INI配置文件中加载选项。
  14. Request(请求):
  15. 这些选项可以用来指定如何连接到目标URL。
  16. –data=DATA 通过POST发送的数据字符串
  17. –cookie=COOKIE HTTP Cookie头
  18. –cookie-urlencode URL 编码生成的cookie注入
  19. –drop-set-cookie 忽略响应的Set – Cookie头信息
  20. –user-agent=AGENT 指定 HTTP User – Agent头
  21. –random-agent 使用随机选定的HTTP User – Agent头
  22. –referer=REFERER 指定 HTTP Referer头
  23. –headers=HEADERS 换行分开,加入其他的HTTP头
  24. –auth-type=ATYPE HTTP身份验证类型(基本,摘要或NTLM)(Basic, Digest or NTLM)
  25. –auth-cred=ACRED HTTP身份验证凭据(用户名:密码)
  26. –auth-cert=ACERT HTTP认证证书(key_file,cert_file)
  27. –proxy=PROXY 使用HTTP代理连接到目标URL
  28. –proxy-cred=PCRED HTTP代理身份验证凭据(用户名:密码)
  29. –ignore-proxy 忽略系统默认的HTTP代理
  30. –delay=DELAY 在每个HTTP请求之间的延迟时间,单位为秒
  31. –timeout=TIMEOUT 等待连接超时的时间(默认为30秒)
  32. –retries=RETRIES 连接超时后重新连接的时间(默认3)
  33. –scope=SCOPE 从所提供的代理日志中过滤器目标的正则表达式
  34. –safe-url=SAFURL 在测试过程中经常访问的url地址
  35. –safe-freq=SAFREQ 两次访问之间测试请求,给出安全的URL
  36. Optimization(优化):
  37. 这些选项可用于优化SqlMap的性能。
  38. -o 开启所有优化开关
  39. –predict-output 预测常见的查询输出
  40. –keep-alive 使用持久的HTTP(S)连接
  41. –null-connection 从没有实际的HTTP响应体中检索页面长度
  42. –threads=THREADS 最大的HTTP(S)请求并发量(默认为1)
  43. Injection(注入):
  44. 这些选项可以用来指定测试哪些参数, 提供自定义的注入payloads和可选篡改脚本。
  45. -p TESTPARAMETER 可测试的参数(S)
  46. –dbms=DBMS 强制后端的DBMS为此值
  47. –os=OS 强制后端的DBMS操作系统为这个值
  48. –prefix=PREFIX 注入payload字符串前缀
  49. –suffix=SUFFIX 注入payload字符串后缀
  50. –tamper=TAMPER 使用给定的脚本(S)篡改注入数据
  51. Detection(检测):
  52. 这些选项可以用来指定在SQL盲注时如何解析和比较HTTP响应页面的内容。
  53. –level=LEVEL 执行测试的等级(1-5,默认为1)
  54. –risk=RISK 执行测试的风险(0-3,默认为1)
  55. –string=STRING 查询时有效时在页面匹配字符串
  56. –regexp=REGEXP 查询时有效时在页面匹配正则表达式
  57. –text-only 仅基于在文本内容比较网页
  58. Techniques(技巧):
  59. 这些选项可用于调整具体的SQL注入测试。
  60. –technique=TECH SQL注入技术测试(默认BEUST)
  61. –time-sec=TIMESEC DBMS响应的延迟时间(默认为5秒)
  62. –union-cols=UCOLS 定列范围用于测试UNION查询注入
  63. –union-char=UCHAR 用于暴力猜解列数的字符
  64. Fingerprint(指纹):
  65. -f, –fingerprint 执行检查广泛的DBMS版本指纹
  66. Enumeration(枚举):
  67. 这些选项可以用来列举后端数据库管理系统的信息、表中的结构和数据。此外,您还可以运行您自己
  68. 的SQL语句。
  69. -b, –banner 检索数据库管理系统的标识
  70. –current-user 检索数据库管理系统当前用户
  71. –current-db 检索数据库管理系统当前数据库
  72. –is-dba 检测DBMS当前用户是否DBA
  73. –users 枚举数据库管理系统用户
  74. –passwords 枚举数据库管理系统用户密码哈希
  75. –privileges 枚举数据库管理系统用户的权限
  76. –roles 枚举数据库管理系统用户的角色
  77. –dbs 枚举数据库管理系统数据库
  78. –tables 枚举的DBMS数据库中的表
  79. –columns 枚举DBMS数据库表列
  80. –dump 转储数据库管理系统的数据库中的表项
  81. –dump-all 转储所有的DBMS数据库表中的条目
  82. –search 搜索列(S),表(S)和/或数据库名称(S)
  83. -D DB 要进行枚举的数据库名
  84. -T TBL 要进行枚举的数据库表
  85. -C COL 要进行枚举的数据库列
  86. -U USER 用来进行枚举的数据库用户
  87. –exclude-sysdbs 枚举表时排除系统数据库
  88. –start=LIMITSTART 第一个查询输出进入检索
  89. –stop=LIMITSTOP 最后查询的输出进入检索
  90. –first=FIRSTCHAR 第一个查询输出字的字符检索
  91. –last=LASTCHAR 最后查询的输出字字符检索
  92. –sql-query=QUERY 要执行的SQL语句
  93. –sql-shell 提示交互式SQL的shell
  94. Brute force(蛮力):
  95. 这些选项可以被用来运行蛮力检查。
  96. –common-tables 检查存在共同表
  97. –common-columns 检查存在共同列
  98. User-defined function injection(用户自定义函数注入):
  99. 这些选项可以用来创建用户自定义函数。
  100. –udf-inject 注入用户自定义函数
  101. –shared-lib=SHLIB 共享库的本地路径
  102. File system access(访问文件系统):
  103. 这些选项可以被用来访问后端数据库管理系统的底层文件系统。
  104. –file-read=RFILE 从后端的数据库管理系统文件系统读取文件
  105. –file-write=WFILE 编辑后端的数据库管理系统文件系统上的本地文件
  106. –file-dest=DFILE 后端的数据库管理系统写入文件的绝对路径
  107. Operating system access(操作系统访问):
  108. 这些选项可以用于访问后端数据库管理系统的底层操作系统。
  109. –os-cmd=OSCMD 执行操作系统命令
  110. –os-shell 交互式的操作系统的shell
  111. –os-pwn 获取一个OOB shell,meterpreter或VNC
  112. –os-smbrelay 一键获取一个OOB shell,meterpreter或VNC
  113. –os-bof 存储过程缓冲区溢出利用
  114. –priv-esc 数据库进程用户权限提升
  115. –msf-path=MSFPATH Metasploit Framework本地的安装路径
  116. –tmp-path=TMPPATH 远程临时文件目录的绝对路径
  117. Windows注册表访问:
  118. 这些选项可以被用来访问后端数据库管理系统Windows注册表。
  119. –reg-read 读一个Windows注册表项值
  120. –reg-add 写一个Windows注册表项值数据
  121. –reg-del 删除Windows注册表键值
  122. –reg-key=REGKEY Windows注册表键
  123. –reg-value=REGVAL Windows注册表项值
  124. –reg-data=REGDATA Windows注册表键值数据
  125. –reg-type=REGTYPE Windows注册表项值类型
  126. General(一般):
  127. 这些选项可以用来设置一些一般的工作参数。
  128. -t TRAFFICFILE 记录所有HTTP流量到一个文本文件中
  129. -s SESSIONFILE 保存和恢复检索会话文件的所有数据
  130. –flush-session 刷新当前目标的会话文件
  131. –fresh-queries 忽略在会话文件中存储的查询结果
  132. –eta 显示每个输出的预计到达时间
  133. –update 更新SqlMap
  134. –save file保存选项到INI配置文件
  135. –batch 从不询问用户输入,使用所有默认配置。
  136. Miscellaneous(杂项):
  137. –beep 发现SQL注入时提醒
  138. –check-payload IDS对注入payloads的检测测试
  139. –cleanup SqlMap具体的UDF和表清理DBMS
  140. –forms 对目标URL的解析和测试形式
  141. –gpage=GOOGLEPAGE 从指定的页码使用谷歌dork结果
  142. –page-rank Google dork结果显示网页排名(PR)
  143. –parse-errors 从响应页面解析数据库管理系统的错误消息
  144. –replicate 复制转储的数据到一个sqlite3数据库
  145. –tor 使用默认的Tor(Vidalia/ Privoxy/ Polipo)代理地址
  146. –wizard 给初级用户的简单向导界面
  147. //–http://blog.csdn.net/ghosttzs–//

举例

python sqlmap.py -u “http://www.xxx.com?id=1” –level=5 –dbs

会使用最高优获取数据库表

 

sqlmap的下载文件:https://pan.baidu.com/s/1dFmhV2L

SVN:取消对代码的修改

因为之前一直用git,对svn的使用比较少。这里持续更新一些常用的svn 命令

取消对代码的修改分为两种情况:
 
第一种情况:改动没有被提交(commit)。
这种情况下,使用svn revert就能取消之前的修改。
svn revert用法如下:
# svn revert [-R] something
其中something可以是(目录或文件的)相对路径也可以是绝对路径。
当something为单个文件时,直接svn revert something就行了;当something为目录时,需要加上参数-R(Recursive,递归),否则只会将something这个目录的改动。
在这种情况下也可以使用svn update命令来取消对之前的修改,但不建议使用。因为svn update会去连接仓库服务器,耗费时间。
注意:svn revert本身有固有的危险,因为它的目的是放弃未提交的修改。一旦你选择了恢复,Subversion没有方法找回未提交的修改。
 
第二种情况:改动已经被提交(commit)。
这种情况下,用svn merge命令来进行回滚。 
   回滚的操作过程如下: 
   1、保证我们拿到的是最新代码: 
     svn update 
     假设最新版本号是28。 
   2、然后找出要回滚的确切版本号: 
     svn log [something]
     假设根据svn log日志查出要回滚的版本号是25,此处的something可以是文件、目录或整个项目
     如果想要更详细的了解情况,可以使用svn diff -r 28:25 [something]
   3、回滚到版本号25:
       svn merge -r 28:25 something
     为了保险起见,再次确认回滚的结果:
       svn diff [something]
     发现正确无误,提交。
   4、提交回滚:
     svn commit -m “Revert revision from r28 to r25,because of …” 
     提交后版本变成了29。
   将以上操作总结为三条如下:
   1. svn update,svn log,找到最新版本(latest revision)
   2. 找到自己想要回滚的版本号(rollbak revision)
   3. 用svn merge来回滚: svn merge -r : something
二 解决冲突
<<<<<<< .mine和=======之间是工程师B(当前的“你”)修改的内容,=======与>>>>>>> .r6336之间是工程师A修改的内容。这时,最好的办法是,叫上工程师A,你们一起确定这些修改是否都需要,是否相互兼容,然后留下需要的部分,删 除<<<<<<< .mine、=======和>>>>>>> .r6336。
解决冲突了:

svn resolve –accept working a.txt (该命令会删a.txt.mine  a.txt.r6328  a.txt.r6336)

svn ci -m ’some comment’ a.txt