llama_ros进行中

项目描述

推荐一个强大的ROS 2集成项目：llama_ros

在机器人操作系统（ROS）的世界中，集成先进的机器学习模型和工具是推动研究和开发的关键。今天，我想向大家介绍一个令人兴奋的项目，llama_ros，它将强大的机器学习优化能力集成到ROS 2中，为机器人项目提供了前所未有的能力。

项目概述

llama_ros是一个开源项目，旨在将llama.cpp集成到ROS 2中。通过使用llama_ros包，你可以轻松地将llama.cpp的强大优化能力纳入你的ROS 2项目中，运行基于GGUF的LLMs和VLMs。这为ROS 2社区带来了巨大的潜力，使得开发者能够利用最新的机器学习技术来增强他们的机器人应用。

主要特性

集成优化：llama_ros提供了一套ROS 2包，使得将llama.cpp的优化能力集成到你的项目中变得简单快捷。

CUDA支持：为了充分利用现代硬件的能力，llama_ros支持CUDA，允许你在具备CUDA支持的系统上运行模型，以获得更高的性能。

灵活的使用场景：无论是通过启动文件配置模型，还是通过ROS 2客户端接口访问模型的主要功能，llama_ros都提供了灵活的使用方式，以满足不同的项目需求。

硬件和材料列表

参考链接：mgonzs13/llama_ros: llama.cpp and llava.cpp for ROS 2 (github.com)

开发环境

安装部署过程展示

$ cd ~/ros2_ws/src
$ git clone --recurse-submodules https://github.com/mgonzs13/llama_ros.git
$ pip3 install -r llama_ros/requirements.txt
$ cd ~/ros2_ws
$ colcon build

To run llama_ros with CUDA, you have to install the CUDA Toolkit and the following lines in the CMakeLists.txt of llama_ros package must be uncommented:

option(LLAMA_CUDA "llama: use CUDA" ON)
add_compile_definitions(GGML_USE_CUDA)

安全事项

参考文献

mgonzs13/llama_ros: llama.cpp and llava.cpp for ROS 2 (github.com)

• chatbot_ros → This chatbot, integrated into ROS 2, uses whisper_ros, to listen to people speech; and llama_ros, to generate responses. The chatbot is controlled by a state machine created with YASMIN.
• explainable_ros → A ROS 2 tool to explain the behavior of a robot. Using the integration of LangChain, logs are stored in a vector database. Then, RAG is applied to retrieve relevant logs for user questions that are answered with llama_ros.

代码

llama_ros-main.zip

0积分下载 请登录