faiss库安装及问题解决!
记录faiss库的安装过程。
前言
记录faiss库的安装过程。
一、faiss是什么?
faiss是一个Facebook AI团队开源的库,全称为Facebook AI Similarity Search,该开源库针对高维空间中的海量数据(稠密向量),提供了高效且可靠的相似性聚类和检索方法,可支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。
官方资源地址https://github.com/facebookresearch/faiss
二、安装步骤
1.cpu版本
conda install -c pytorch faiss-cpu
2.gpu版本
conda install -c pytorch faiss-gpu
三、问题解决
1.安装过程
faiss库安装时会自动下载很多包,也涉及一些下载较慢的。需要自己在网页上手动下载。下载后将其放到site-packages文件下就可以。安装过程中我下载了两个文件:
cudatoolkit-11.4.3-h39f8164_13.conda
libfaiss-1.7.4-cuda112hb18a002_0_cuda.conda
2.导入faiss库
安装完成后,直接在python中导入即可使用
import faiss
这里导入faiss库时还遇到了一些小问题,如下
ImportError: libmkl_intel_thread.so.1: cannot open shared object file: No such file or directory
这里需要进入安装faiss的虚拟环境下的lib文件夹中,将找不到的文件建立软连接即可。
ln -s libmkl_intel_thread.so libmkl_intel_thread.so.1
前提时lib中存在libmkl_intel_thread.so文件
详情参考:https://zhuanlan.zhihu.com/p/589633827
有关软连接的知识参考:https://blog.csdn.net/jialibang/article/details/108247033
总结
解决了以上问题就可以正常使用faiss库啦,后续将用这个库实现文本数据库的相似度检索,也是一个全新未接触的领域,会继续分享相关知识,谢谢大家多多关注!
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)