本文主要是介绍成为AI工程师的路线图,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
AI是构建所有技术的新范式。
- 克莱门特·德朗格(HuggingFace联合创始人)
在确定了AI 工程师将成为下一个重要的技术职位之后,是时候学习如何成为一名 AI 工程师了。
这篇帖子解释了:
- 从软件工程师转变为AI工程师可以遵循的发展路线。
- 成为AI工程师所需的技能。
- 在培养这些技能时应该学习使用的示例工具。
- 发展这些技能的最佳方式。
让我们先揭开路线图吧!
成为AI工程师的道路 🧭
Harshit Tyagi 的 AI 工程师路线图
首先!
针对谁?
程序员 / 软件开发工程师 / 分析师 / 数据科学家计划提升技能以从事AI工程。
由于这是核心工程技能,以下是先决条件:
解析路线图
我已经将整个AI工程路线分为3个阶段,如下所示,你从左到右依次前进,即从入门到中级再到高级。
这里每个阶段代表的意思如下:
- 入门(<= 1个月) — 构建基本应用程序以学习如何使用LLM API,仔细设计应用程序的提示,并与开源LLM合作。
- 中级(~ 2个月) — 深入构建更具有上下文意识的高级应用程序,使用检索增强生成(RAG)。学习向量数据库及其使用方法。学习使用LLM和工具构建代理。
- 高级(~ 3个月) — 掌握应用程序构建后,学习使用LLMOps部署、优化和管理生产中的LLM驱动应用程序。学习如何微调预训练模型,以高效且低成本地适应下游应用程序。
初级技能如下:
- 理解LLM的基础——你应该知道ChatGPT的大致工作原理。
- 学习开发者提示工程。如何编写提示以提高LLM的响应质量。
- 学习从API获取数据,学习处理JSON数据。
- 学习调用封闭和开源的LLM模型,函数调用,传递提示,解析响应。
- 学习管理对话中的上下文空间。
- 学习使用langchain创建和自动化操作序列——Chains。
- 使用Gradio或Streamlit进行基本的应用开发,用于POC和演示。
- 部署你的应用以使其可访问——在HuggingFace Space或Streamlit云上进行基本部署。
- 多模态生成——使用HuggingFace
transformer
库生成代码、图像和音频。
中级项目需要:
- 理解向量嵌入和向量数据库。
- 学会如何在应用程序中使用向量数据库。
- 构建检索增强生成(RAG)——与您的知识库进行聊天。
- 开发高级RAG管道,例如子问题查询引擎,该引擎可以在经过多个数据源后提供响应。
- 构建代理——迭代工作流以完成大型任务。
- 构建多代理应用程序,其中多个代理协同工作以提供更好的解决方案。
- 使用多个代理进行自动化——Autogen和Crew AI
- 评估RAG——RAGAs框架。
- 管理数据库、检索、部署完整应用程序、版本控制、日志记录和监控模型行为。
高级项目将需要你完成以下任务:
- 微调预训练的LLM以适应特定领域的知识和定制响应,例如医学研究、金融研究、法律分析等。
- 整理数据集并设计(ETL管道)以进行模型微调。
- 评估和基准测试模型性能。
- LLMOps — 构建完整的端到端管道,包括模型注册、可观测性和自动化测试。
- 构建多模态应用 — 结合文本和图像的混合语义搜索。
- 构建SDK、包和自定义解决方案,以帮助其他开发者。
- 使用提示破解等技术并采取防御措施(如检查漏洞和潜在风险)来保护您的AI应用程序。
以下是您在花费足够时间构建应用程序和调整模型后,技能应如何进步:
现在,如何培养这些技能?
学习资源、参考和项目 📚
AI 正在涌现出各种学习资源和教程。
有许多很好的资源可以学习这些概念,也有很多热心的人在每个主题上发布非常深入和详细的材料。
这里很难捕获所有资源,所以我创建了一个单独的资源列表 here。
最佳的学习方式 — 构建!
我们已经学会了应该做什么,现在让我们来讨论一下最好的做法。
处理项目。
掌握这些概念的最佳方式。这将进一步提升思考前沿用例的能力。
你可以在这个同一仓库中找到项目想法。
除此之外,我还会在我的 YouTube 频道上分享项目和教程。
对于第一步,我推荐你查看我创建的这个基于项目的课程,在这个课程中,你将构建由LLM驱动的应用程序,包括作为WhatsApp聊天机器人的RAG管道。
构建由LLM驱动的WhatsApp聊天机器人项目式课程,学习如何构建作为WhatsApp聊天机器人的LLM应用程序www.wiplane.com
此帖子的视频版本:
AI 工程师路线图由 Harshit Tyagi 提供
别忘了加入我的Discord社区!
除了学习之外,AI 社区每天都会发布许多公告和新进展,许多人正在研究有趣的用例并开发可能引起你兴趣的产品。
如果你想参与这次讨论,加入我们的 Discord 社区。社区名为 Wiplane。
接下来是什么!
我将遵循相同的路线图,并一路揭露过程、挑战和学习的内容。
确保你已订阅,以接收那些特别详细的帖子。
这篇关于成为AI工程师的路线图的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!