Python Sklearn库源码学习--kmeans

前言：分析体检数据希望不拘泥于Sklearn库中已有的聚类算法，想着改一下Kmeans算法。本着学习的目的，现在开始查看sklearn的源代码。希望能够写成一个通用的包。有必要先交代一下我使用的python版本：python3.9.2 环境：pycharm现在先学习学习Sklearn是如何写的～第一步：找到sklearn的源代码>>> import sys>>>

是我，Zack

4314人浏览 · 2021-04-19 14:54:59

是我，Zack · 2021-04-19 14:54:59 发布

前言：

分析体检数据希望不拘泥于Sklearn库中已有的聚类算法，想着改一下Kmeans算法。本着学习的目的，现在开始查看sklearn的源代码。希望能够写成一个通用的包。

有必要先交代一下我使用的python版本：python3.9.2 环境：pycharm

现在先学习学习Sklearn是如何写的～

第一步：找到sklearn的源代码

>>> import sys
>>> sys.path
['', 'D:\\Python\\python39.zip', 'D:\\Python\\DLLs', 'D:\\Python\\lib', 'D:\\Python', 'D:\\Python\\lib\\site-packages']

可以查看到

主要python代码和自带包在/usr/lib
常用的一些第三方包会安装在/usr/local/lib/python/dist-packages和/用户/.local/lib/sit-packges中
我们的sklearn就在/用户/.local/libsit-packges这个目录下

第二步：查看源代码使用的工具

1.直接使用Pycharm

1.1 源码路径

结合上面的路径，在左侧Project目录分类下：选择External Libraries–>Lib–>site-packages–>skllearn–>自己想看的源码，我选择的是cluster（聚类）–>kmeans

1.2 文件格式

在sklearn中，底层代码是由cpython编写的。cpython生成的文件格式主要有三种：.pxd .pyd .pyx

.pxd 文件是由 Cython 编程语言 “编写” 而成的 Python 扩展模块头文件，其中有 Cython 模块要包含的 Cython 声明 (或代码段)，还可为 .pyx 文件模块提供 Cython 接口。
.pyx 文件是由 Cython 编程语言 “编写” 而成的 Python 扩展模块源代码文件，其中有 Cython 模块的源代码。不像 Python 语言可直接解释使用的 .py 文件，.pyx 文件必须先被编译成 .c 文件，再编译成 .pyd (Windows 平台) 或 .so (Linux平台) 文件，才可作为模块 import 导入使用。
.pyd 文件是非 Python，由其它编程语言 “编写-编译” 生成的 Python 扩展模块， Python 要导入 .pyd 文件，实际上是在 .pyd 文件中封装了一个 module。

1.3 问题：无源代码文件.pyx

那么问题来了，这里只有.pxd文件和.pyd文件，没有源代码文件.pyx。

查看_tree.pxd文件，可见决策树中一些结构的声明，但具体编写实现的代码应在_tree.pyx文件中。

那么_tree.pxd文件在哪呢。

我在python的安装目录下，项目的目录下都没有找到。

1.4 问题解决

最终我在github上sklearn的官方开源项目里找到了完整的源代码。

经过分析得，我们在导入sklearn库时，直接导入了编译转换好的，能为python所使用的.pyd文件，而不是cpython所写成的源代码.pyx。

2.使用VIM

2.1 VIM是什么

通过多篇文章看到的，特别查了一下VIM是什么：

Vim是一个类似于 Vi 的著名的功能强大、高度可定制的文本编辑器，在Vi的基础上改进和增加了很多特性。 VIM是自由软件。
Vim已经有各主流系统的版本，尽管vim较vi已经改良了不少，但是初次使用还是会一头雾水，不知如何操作，所以学习vim要首先过2关。第一关是理解vim的设计思路，vim设计之初就是整个文本编辑都用键盘而非鼠标来完成，键盘上几乎每个键都有固定的用法，且vim的制作者希望用户在普通模式（也就是命令模式，只可输入命令）完成大部分的编辑工作，将此模式设计为默认模式，初学者打开vim，如果直接输入单词，结果就会滴滴乱响，这是因为vim把用户输入的单词理解为命令了。第二关是命令关，vim有过百条命令对应编辑的需要，如果能熟练使用vim这些命令，编辑速度确实比鼠标要快很多，但是想全都记住它们也是一件难事，我想记住它们最好的方法就是多多来练习，确实把vim用在日常的文本编辑中去，且遇到难题不要放弃，而是查找解决的方法，每解决一个难题，你的vim技能就上升一级。

2.2 VIM安装教程

我使用VIM来查看源代码和编写代码。但是安装了spf13的插件。通过安装spf13可以使VIM像IDE一样好用。

spf13安装相关教程：VIM配置-傻瓜版

- 如何使用VIM来查看tag？
     1、ctags
     先到第三方库目录下使用 ctags -R
     接着进入相关python文件中就可以查看原函数位置了。
     常用跳转方法：
     光标处Ctrl-]键：跳到光标所在单词的tag。
     Ctrl-T键：跳回原来的位置。
     g]键（先按g再按]）：如果有同名的多个tag，可以用这两个键进行跳转，会提示选择序号。
     2、tagbar
      快捷键 , t 使用后会显示该python文件的函数结构。
      ctags用来查看具体细节，tagbar用来查看整体结构。这两个tag工具双剑合壁。查看和调试代码简直不要太爽