前言

记录faiss库的安装过程。


一、faiss是什么?

faiss是一个Facebook AI团队开源的库,全称为Facebook AI Similarity Search,该开源库针对高维空间中的海量数据(稠密向量),提供了高效且可靠的相似性聚类和检索方法,可支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。

官方资源地址https://github.com/facebookresearch/faiss

二、安装步骤

1.cpu版本

conda install -c pytorch faiss-cpu

2.gpu版本

conda install -c pytorch faiss-gpu

三、问题解决

1.安装过程

faiss库安装时会自动下载很多包,也涉及一些下载较慢的。需要自己在网页上手动下载。下载后将其放到site-packages文件下就可以。安装过程中我下载了两个文件:

cudatoolkit-11.4.3-h39f8164_13.conda
libfaiss-1.7.4-cuda112hb18a002_0_cuda.conda

2.导入faiss库

安装完成后,直接在python中导入即可使用

import faiss

这里导入faiss库时还遇到了一些小问题,如下

ImportError: libmkl_intel_thread.so.1: cannot open shared object file: No such file or directory

这里需要进入安装faiss的虚拟环境下的lib文件夹中,将找不到的文件建立软连接即可。

ln -s libmkl_intel_thread.so   libmkl_intel_thread.so.1

前提时lib中存在libmkl_intel_thread.so文件
详情参考:https://zhuanlan.zhihu.com/p/589633827
有关软连接的知识参考:https://blog.csdn.net/jialibang/article/details/108247033


总结

解决了以上问题就可以正常使用faiss库啦,后续将用这个库实现文本数据库的相似度检索,也是一个全新未接触的领域,会继续分享相关知识,谢谢大家多多关注!

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐