Ubuntu编译安装caffe

背景

记录今年年初在ubuntu18.04上基于cuda10.0编译caffe的过程,非常的繁琐,仅供参考

clone源代码

root@rtlab-computer:/home/rtlab/szc# git clone https://github.com/BVLC/caffe.git

然后进入caffe目录

修改配置文件

Makefile.config

先复制一份Makefile.config.example,重命名为Makefile.config,再修改以下内容:

a、去掉USE_CUDNN := 1、OPENCV_VERSION := 3和WITH_PYTHON_LAYER := 1的注释

b、修改CUDA_DIR

CUDA_DIR := /usr/local/cuda-10.0

c、去掉CUDA_ARCH中的20与21选项:

CUDA_ARCH := -gencode arch=compute_30,code=sm_30 \
        -gencode arch=compute_35,code=sm_35 \
        -gencode arch=compute_50,code=sm_50 \
        -gencode arch=compute_52,code=sm_52 \
        -gencode arch=compute_60,code=sm_60 \
        -gencode arch=compute_61,code=sm_61

d、使用Python3:

PYTHON_LIBRARIES := boost_python3 python3.6m
PYTHON_INCLUDE := /usr/include/python3.6m \
                 /usr/local/lib/python3.6/dist-packages/numpy/core/include

# We need to be able to find libpythonX.X.so or .dylib.
PYTHON_LIB := /home/rtlab/anaconda3/lib/

e、指定hdfs的头文件路径:

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

Makefile

a、给LIBRARIES添加hdf5_serial_hl和hdf5_serial

# LIBRARIES += glog gflags protobuf boost_system boost_filesystem m
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

b、给NVCCFLAGS添加-D_FORCE_INLINES参数

# NVCCFLAGS += -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

CMakeLists.txt

修改python_version为3(或者自己的版本):

set(python_version "3.6" CACHE STRING "Specify which Python version to use")

cmake/Dependencies.cmake

修改OPENCV版本号:

if(USE_OPENCV)
  find_package(OpenCV 3.4.1 QUIET COMPONENTS core highgui imgproc imgcodecs videoio)
  if(NOT OpenCV_FOUND) # if not OpenCV 3.x, then imgcodecs are not found
    find_package(OpenCV REQUIRED COMPONENTS core highgui imgproc)
  endif()
  include_directories(SYSTEM ${OpenCV_INCLUDE_DIRS})
  list(APPEND Caffe_LINKER_LIBS ${OpenCV_LIBS})
  message(STATUS "OpenCV found (${OpenCV_CONFIG_PATH})")
  add_definitions(-DUSE_OPENCV)
endif()

cmake/Cuda.cmake

指定cuda版本号:
find_package(CUDA 10.0 REQUIRED QUIET)

host_config.h

此步骤可选,如果 /usr/local/cuda-10.0/include/host_config.h存在以下内容,则注释掉

#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!

LD_LIBRARY_PATH

确保LD_LIBRARY_PATH没有多个版本的cuda:

root@rtlab-computer:/home/rtlab# echo $LD_LIBRARY_PATH
/usr/local/cuda-10.0/lib64:/home/rtlab/szc/openvx/pgm/:/home/szc/openvx/hog/build/lib/:/usr/local/lib/:/usr/lib/x86_64-linux-gnu/:/usr/lib/gcc/x86_64-linux-gnu/7/:/home/rtlab/szc/openvx/feather-trace/:/usr/local/cuda-10.0/lib64/:/usr/local/ffmpeg/lib/:/home/rtlab/szc/opencv-3.4.1/build/lib:/home/rtlab/szc/tensorflow/lib/

ibboost

如果报错libboost相关内容,可以尝试用python2.7编译libboost,参见文章动态知识图谱库DynGEM的学习之库的安装与调试中关于Boost.Python的编译过程

编译

root@rtlab-computer:/home/rtlab/szc/caffe# make all -j8

编译结果(不报错就行):

测试

编译运行测试用例:

root@rtlab-computer:/home/rtlab/szc/caffe# make runtest -j8

结果如下(最后CTRL-C了):

在Python中引用

若要在python中引入caffe,还需要修改caffe目录下的CMakeCache.txt文件,把所有的python2.7改成python3.6(或python3.6m)

//Path to a program.
PYTHON_EXECUTABLE:FILEPATH=/usr/bin/python3.6


//Path to a file.
PYTHON_INCLUDE_DIR:PATH=/usr/include/python3.6


//Path to a library.
PYTHON_LIBRARY:FILEPATH=/usr/lib/x86_64-linux-gnu/libpython3.6m.so

然后重新编译所有的东西,并把caffe根目录下的python目录添加到PYTHONPATH中去:

export PYTHONPATH=$PYTHONPATH:/home/rtlab/szc/caffe-master/python

如果要在pycharm中添加编译好的caffe,则必须使用pycharm专业版,然后在File->Setings->Project: projectName->Python Intepreter->Show All中,先添加自己编译Caffe时用的python(这里我的是python3.6),再点击下方目录结构样的图标:

然后在弹出来的面板里点击左下角的+来添加路径:

选择/home/rtlab/szc/caffe-master/python目录即可:

问题解决

找不到cudnn的版本

解决方法:

下载解压7.5版本的cudnn(链接:https://pan.baidu.com/s/1BLAAClZjqyqYxJSCqpg2lw提取码:3mt8),然后把include目录下的文件复制到/usr/include下,把lib64目录下的文件复制到/usr/lib目录下

root@rtlab-computer:/home/rtlab/szc# tar -zxvf cudnn-10.0-linux-x64-v7.5.0.56.tar.gz
root@rtlab-computer:/home/rtlab/szc# cd cuda
root@rtlab-computer:/home/rtlab/szc/cuda# cp include/cudnn.h /usr/include/
root@rtlab-computer:/home/rtlab/szc/cuda# cp lib64/* /usr/lib/

liblapack.so未定义gotoblas和libblas.so.3未定义gotoblas

解决方法:

根据报错信息,查看加载的liblapack.so和libblas.so.3路径(我的是/usr/lib/x86_64-linux-gnu/下的这两个文件),然后查看它们的指向关系:

root@rtlab-computer:/home/rtlab/szc/cuda# ll /usr/lib/x86_64-linux-gnu/liblapa*
....
lrwxrwxrwx 1 root root      47 Sep 22  2018 /usr/lib/x86_64-linux-gnu/liblapack.so -> /etc/alternatives/liblapack.so-x86_64-linux-gnu
....
root@rtlab-computer:/home/rtlab/szc/cuda# ll /usr/lib/x86_64-linux-gnu/libblas.*
....
lrwxrwxrwx 1 root root 47 Sep 21  2018 /usr/lib/x86_64-linux-gnu/libblas.so.3 -> /etc/alternatives/libblas.so.3-x86_64-linux-gnu

然后分别修改这两个指向内容,让它们都指向atlas目录下的库文件:

root@rtlab-computer:/home/rtlab/szc/cuda# update-alternatives --config liblapack.so.3-x86_64-linux-gnu
There are 3 choices for the alternative liblapack.so.3-x86_64-linux-gnu (providing /usr/lib/x86_64-linux-gnu/liblapack.so.3).


  Selection    Path                                               Priority   Status
------------------------------------------------------------
* 0            /usr/lib/x86_64-linux-gnu/openblas/liblapack.so.3   40        auto mode
  1            /usr/lib/x86_64-linux-gnu/atlas/liblapack.so.3      35        manual mode
  2            /usr/lib/x86_64-linux-gnu/lapack/liblapack.so.3     10        manual mode
  3            /usr/lib/x86_64-linux-gnu/openblas/liblapack.so.3   40        manual mode


Press <enter> to keep the current choice[*], or type selection number: 1
update-alternatives: using /usr/lib/x86_64-linux-gnu/atlas/liblapack.so.3 to provide /usr/lib/x86_64-linux-gnu/liblapack.so.3 (liblapack.so.3-x86_64-linux-gnu) in manual mode

root@rtlab-computer:/home/rtlab/szc/cuda# update-alternatives --config libblas.so.3-x86_64-linux-gnu
There are 2 choices for the alternative libblas.so.3-x86_64-linux-gnu (providing /usr/lib/x86_64-linux-gnu/libblas.so.3).


  Selection    Path                                             Priority   Status
------------------------------------------------------------
* 0            /usr/lib/x86_64-linux-gnu/openblas/libblas.so.3   40        auto mode
  1            /usr/lib/x86_64-linux-gnu/atlas/libblas.so.3      35        manual mode
  2            /usr/lib/x86_64-linux-gnu/openblas/libblas.so.3   40        manual mode


Press <enter> to keep the current choice[*], or type selection number: 1
update-alternatives: using /usr/lib/x86_64-linux-gnu/atlas/libblas.so.3 to provide /usr/lib/x86_64-linux-gnu/libblas.so.3 (libblas.so.3-x86_64-linux-gnu) in manual mode

如此再make all即可

python中import caffe报错raise ValueError, "Can`t create weekday with n == 0"

解决方法:升级matplotlib

root@rtlab-computer:/home/rtlab/szc# pip3 install matplotlib --upgrade

分享结果

最后给出我编译好的caffe压缩包网盘链接:https://pan.baidu.com/s/1_I6zea4GY7dMAKV3axhykA

提取码:cms3

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战&#xff0c;可谓是杀敌无数&#xff0c;见怪不怪了&#xff01;在某知识社交平台中&#xff0c;一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读&#xff0c;可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表&#xff1a;零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时&#xff0c;为空表。 在比较复杂的线性表中&#xff0c;一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言&#xff0c;按照其应用领域&#xff0c;可以粗略地分成三类。 有的语言是多面手&#xff0c;在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类&#xff0c;比如说 C&#xff0c;Java&#xff0c; Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后&#xff0c;该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情&#xff0c;很多情况下&#xff0c;他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言&#xff0c;首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图&#xff1a; 上码&#xff1a; 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况&#xff0c;重点关注在中国市场扮演重要角色的全球及本土铪生产商&#xff0c;呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外&#xff0c;针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…