Week 1 📅
Thursday,June 19
学到了 💡
- 快速提取文献价值（还得是用AI啊）
反思 🤔
-
是不是直接用数据集来提取schema，先放弃我第一次尝试ui-elements->ui-json？？
-
关于现阶段的任务
- 从文本生成UI内容描述的尝试（可以先找一下类似文生UI的文章）
- 我们已经预设了LLM文生UI的能力是足够的，那么如果有一篇论文同样也是做文生UI,我们就可以看看他们的文章是怎么写的，他们文生UI用的是什么方法，我们是不是可以用这个相同的方法，这样就说明LLM文生UI是ok的
找文生UI的文章，以此来证明LLM文生UI的能力，并且可以迁移他们的方法 - LLM生UI有什么问题，怎么解决这个问题
- 模型能力不够（解决难度大）
- 没有调用出来模型真正的能力（这个问题）
积累一些人家的方法，先记下来
- 我们已经预设了LLM文生UI的能力是足够的，那么如果有一篇论文同样也是做文生UI,我们就可以看看他们的文章是怎么写的，他们文生UI用的是什么方法，我们是不是可以用这个相同的方法，这样就说明LLM文生UI是ok的
- 从文本生成UI内容描述的尝试（可以先找一下类似文生UI的文章）
-
More on the path
- 清晰的表述自己的问题和困惑
- keep track of the process
Friday, June 20
学到了 💡
任务是什么 🚀
- 调整schema
继续文献调研，再找5篇关于文生UI的
本周的任务 🎯
-
文献调研，找关于提升文升UI质量的文献(5篇)
-
尝试文生UI，看看能做成什么样，出一个改进意见
-
基于现有方法
- 凭空给prompt(Qwen)
- AI描述已有UI(gemini)，出prompt,再出UI(Qwen)
-
基于文献
- Crafting user-centric prompts for UI generations based on Kansei engineering and knowledge graph里面提出了：提升AI生成UI的Prompt质量的方法
-
修改schema
UI Layout Generation with LLMs Guided by UI Grammar文献里面提供了一些数据集，可以拿来提取schema应该效果会比我用DuoLingo更好
CLAY 数据集
SCREEN2WORDS 数据集 -
初步调整好了schema
-
初步文献调研结束
Week 2 📅
本周的任务 🎯
- 精简提取的schema
- 尝试One to Many, 形成一个Pipeline
- 完成菜鸟教程条件控制前的学习
- 完成cs61a的前三个hw和lab
总结 📝
Tuesday, June 24
任务 🚀
- 完成schema的精简
- 菜鸟教程
- 数据类型转换
- 解释器
反思 🤔
- 关于schema的定义：效仿文献：
- 关于element的type定义是不是可以参考一个ui设计的文献？
- 先看看学长给的文献->思路不同，摒弃
Wednesday, June 25
任务 🚀
- 完成schema的精简
- 完成pipeline的尝试
- 菜鸟教程
- 解释器
- 注释
计划 📕
- 上午完成schema定义
- 下午晚上尝试pipeline
反思 🤔
累死我了。今天尝试用了dify和coze都失败了。前者是因为调用qwen的api莫名说我的apikey invalid，后者是因为不想再投入那么多时间了，最后搭pipeline用的还是colab，其实colab的自动化和这俩差不多，colab好用
ds好用，json转html比qwen强太多了。
感觉主要还是在schema上花（浪费）了比较多的时间
Thursday, June 26
任务 🚀
- 完成cs61a
- lab0
- lab1
- hw1
- 菜鸟教程
- 运算符
- 数字
计划 📕
反思 🤔
Friday, June 27
任务 🚀
- 菜鸟教程
- 字符串
- 列表
- 元组
Saturday, June 28
任务 🚀
- 初步调出来新的Pipeline
Sunday, June 29
任务 🚀
- 菜鸟教程
- 字典
- 集合
- cs61a
- lab2
- hw1
- hw2
- hw3
- lab3
- 调好pipeline
