读完图灵奖得主戈登贝尔的《全面回忆》 这本书后，一直致力于建立自己的个人大数据系统，记录自己的所见所闻所感，并随时回忆。

随着拍照技术的提高，存储成本的降低，现在记录的技术问题已经逐渐解决。2022年底 ChatGPT 发布之后，大模型的爆发，多模态技术的进步，让我意识到随时回忆也很快可以实现了。

这个系列文章，我会记录我个人大数据系统的建立过程，包括数据的采集、存储、处理、展示等方面。希望能给大家一些启发，也希望大家能给我一些建议。 大致目录如下(不断补充)：

  • 数据采集
    • 手机拍照，视频（生活备份）
    • 家庭监控
    • 网页采集( wallabag, Mkdownload)
  • 数据存储(备份)
    • iCloud 手机完整备份（包括相册，微信聊天记录等）
    • 百度云盘照片备份(手机相册)
    • NAS（个人数据，家人数据，家庭监控备份等）
    • 云笔记（苹果备忘录，印象笔记，Notion， Obsidian等）
    • 个人网站，博客，维基，在线笔记本等(github page, wiki, clip)
  • 数据处理 + 展示

之前写的系列文档

  • https://github.com/lmmsoft/2023/issues/9