https://blog.hopefly.top/tags/goquery/ Recent content in Goquery on 月盾的博客 Hugo zh-cn Mon, 27 Jul 2020 13:09:20 +0000 https://blog.hopefly.top/blogdetail/5f1fb24c4536b06ac3897662/ Mon, 27 Jul 2020 13:09:20 +0000 https://blog.hopefly.top/blogdetail/5f1fb24c4536b06ac3897662/ <p>乱码的情况目前有两种可能：</p> <ul> <li>常规乱码，网页非utf-8。</li> <li>非常规乱码，代码导致的乱码。</li> </ul> <p><img src="https://qn-img.hopefly.top/goquery%E4%B8%AD%E6%96%87%E4%B9%B1%E7%A0%81.jpg" alt="goquery中文乱码"></p> <p>关于常规乱码可参考issue<a href="https://github.com/PuerkitoBio/goquery/issues/185">获取中文网页有乱码的问题 #185</a> 非常规乱码就像我遇到的一样，最开始以为是网页问题，使用了github.com/djimenez/iconv-go转换还是乱码，使用了golang.org/x/text/encoding/simplifiedchinese还是乱码。 试试英文网页，还是乱码。最终一点点调试发现是由header引起的。 <code>req.Header.Add(&quot;Accept-Encoding&quot;, &quot;gzip, deflate&quot;)</code> 这一行的作用是告诉服务器浏览器要接收的数据编码是gzip,dflate，到达浏览器后会自动解码。但是我们的代码并非浏览器，不会自动解码，所以接收到的就是非常规的压缩数据。</p>