Coaching AI for Success:
Best Practices, Ethics, and Oversight in IT

Welcome to the Hitchhiker’s Guide to IT, brought to you by Device42. On this show, we explore the ins and outs of modern IT management and the infinite expanse of its universe.

So buckle up and get ready to explore the ever changing landscape of modern IT management.

Hello, and welcome to the Hitchhiker’s Guide to IT, where we explore the latest innovations shaping IT infrastructure and operations. I’m your host, Michelle Dawn Mooney. And today, we are diving into how IT leaders can effectively implement AI to optimize workflows, enhance automation, and maintain security and compliance.

Joining me is Ed Federici, CTO of Appfire, who brings deep expertise in leveraging AI to streamline IT operations. We will explore what it means to treat AI as a copilot for IT teams, how to strike the right balance between automation and human oversight, and what IT leaders should be doing now to prepare for the future of AI driven infrastructure. So let’s get started. Ed, thank you so much for being here today.

Thanks for having me.

Looking forward to getting into the conversation. Before we do, can you give us a brief bio before we get started, please?

Sure. So I have a computer science degree from Purdue. I grew up in a small town in Indiana. I’ve been doing this for thirty three years now.

So I started my career as a heads down coder. I wrote code for most of my life, worked my way up through to the executive level, and I’ve been a CTO or C level contributor for fifteen years now. Today, I’m the CTO for Appfire. We’re a company that equips and connects knowledge workers and teams to allow them to do their best work.

Perfect. And part of, I think, best work for a lot of companies right now involves AI because it is everywhere.

Here’s where we start. How should IT leaders approach AI implementation in their infrastructure?

Okay. That’s a great one. Let’s start that with a little bit of context setting. So what is the role of an IT leader?

In any real company, the role of an IT leader is to facilitate, employees getting their jobs done. So that could be anything from marketing to engineering to legal, entire spectrum. With respect to AI, they’re kinda tasked with finding the best tools that are available on the market for each of those functions so those people can do their jobs faster, better, and just with more confidence across the board. So I think when you do that, you have to take into account what does it mean to bring AI into your business.

One of the things that we do is we treat AI as if it’s a human being. So all of the standards for security compliance, ethics, behavior that we expect of a AppFire employee, we apply that same concept to any AI we bring in house. In that way, we treat it with a mentality that’s appropriate to protect client data, to protect the integrity of the business, and ensure that we are doing business in a way that is ethical and compliant with laws.

You talk about AI being treated as a human, and I think there’s definitely a balance that businesses are seeing of how much of a role does AI play. AI is often described as a copilot for IT teams. So what does that mean when it comes to putting things into practice?

So one of the conditions we have in place today is that while we leverage AI to do our jobs, there’s always a human between the kind of the AI, whatever the AI produces and the total outcome of it. Right? So let me give you a couple of examples.

In our product support organization, we’ve used AI agents that we have taught our entire product catalog to. So we loaded every support case ever, every piece of documentation, some other things that we know about the applications.

And when a support tier comes in, that AI agent will answer the support ticket. But it doesn’t go directly from the AI agent to the client. It goes from the AI agent to a human being who reviews that content, make sure it’s accurate, make sure it’s appropriate, and then pushes it out. It’s had the effect of radically increasing or decreasing, really, our time to resolution, anywhere from nine percent to ninety two percent. But by putting that person in place, we make sure that the experience for the client is still exceptional.

We are all familiar with automation. If you’ve ever been on a website and you get the little pop ups to help you along with your dirty on there, automation really has been a core focus in IT for years. So how does AI enhance or maybe change IT automation strategies?

Well, it’s a great way to route workflow. Right? And so if you think about it, at Appfire, we have, workflow for if you have a legal request, if you have a expense request, if you have an IT support request, all those different things. If you go into our our, portal for that, there’s probably twelve different tiles you can click on and create a request.

And those twelve files might go to twenty five different people. Using an AI agent, you can do better routing, not just to do deflection. So you go in and you ask, how do I reset my password? Well, an AI agent can walk you through that.

He can walk you through that with exceptional quality, so it’s really easy to understand.

Or if it’s a question that can’t be deflected, it’ll take you to the right person that can answer that question quickly. So that that AI agent inside that workflow process expedites the resolution of a problem and gives a better client experience for internal clients.

When it comes to any client experience, of course, security is at the forefront there. So what security and compliance challenges may arise when it comes to the integration of AI into IT environments?

Sure. So one of the first ones is intellectual property. I mean, that comes in in two different ways. If you’re using, say, ChatGPT, for example, is ChatGPT sourcing the content that you’re then going to use in an ethical way, or is it cannibalizing someone else’s intellectual property?

Right? So, obviously, ChatGPT has protections against that. But with the proliferation of different AI agents, we have a process in place where an AI agent has to be vetted by legal and compliance and security before it can be used by an AppFire employee just to guarantee that we are not violating someone else’s intellectual property or doing something that’s inappropriate. Right?

Now when we feed data into those agents, whether that’s our data, client data, whatever, we have to make sure we understand how it’s used and where it ultimately ends up. We don’t wanna be training someone else’s AI model with proprietary data that then leaks into the public domain. So from contracting with a chat GPT or an AI provider to what we put into that, we use a lot of scrutiny to make sure that we’re protecting both ourselves and the data that we have, but also not using someone else’s intellectual property in a way that we should not be.

I’m gonna go back to a reference earlier in the podcast talking about treating AI as a human. And there definitely is kind of the thought process of where are the lines drawn when it comes to human versus AI. So as AI adoption grows, how can IT leaders balance automation with human decision making?

That that’s kind of a crux of it. Right? How much autonomy do you wanna give to something that you don’t necessarily even understand or control? Right? There’s probably a really finite number of people who really understand how AI works, and is it advances so rapidly in its complexity.

Understanding that the result is gonna give you or how it determines that result is something that’s beyond most companies. Right? So we really do like to have a human in the loop to make sure that the outcome is something that we can be proud of, that we’re gonna respect at Fire.

Putting the human in a loop also slows down the process a little bit. If you could just give it all to AI and let AI do everything, it’s gonna move faster. I’m gonna give a really simple example. Some of us use AI agents to respond to email we don’t wanna respond to. But imagine if an email came from anywhere in the organization or outside the organization and that response was somehow inappropriate.

You don’t want the AI to do something that’s gonna damage your reputation. So we still review that content before it goes out the door. And I think those those governances need to stay in place for a fairly long time. AI is still relatively new even though we’re all very excited about it. It’s still learning. People are still learning how to work with it. And until it’s really run for an extended period of time where you can trust every result implicitly, you need to make sure that a person is checking it first.

Not to throw you on the spot here, Ed, but I’m curious. Do you have any personal stories of maybe finding that that gray area? Because I mean, it’s a learning curve right now, and and you have a wealth of experience in this field. So just curious if you had anything to share on that front.

So I can use a a real yes. I do. I can use a personal one. So one of the things I do every week is I record a video for my team.

And the AI agent that’s part of that program, creates a summary of everything that I say, and then it also creates the titles and that type of stuff. One week, I was in a hurry. I did not read the AI summary, and the AI summary had nothing to do with what I was talking about. And it switched who was responsible for some things.

So So it gave me credit for work someone else had done, gave someone else blame for work I had done. It it was awful. It created actual confusion amongst the employee base because some folks read the summary versus watching the video, and, it it was not a great outcome for us. Right?

It wasn’t a huge deal by any means, but taking the moment of just not reading that all the way through and making sure it was great and then pressing send, was a mistake. And I’ve seen that happen tons of times now.

Yeah. Definitely a learning curve as I mentioned. So with that, looking ahead, what trends in AI driven IT infrastructure should IT leaders be preparing for?

I think it’s gonna be on a couple of fronts. So if you think about modern IT operations, there’s a lot of deployment of infrastructure still occurring, but it’s occurring in the cloud. And so if you think that we do, that deployment now is infrastructure as code. And pretty soon, I think you’ll be able to disintermediate the person, allow the AI to do that.

Right? And so more and more, AI will become autonomous. It’ll take on more human tasks. I think provisioning, licensing, provisioning infrastructure, employee onboarding, all AI, driven tasks in pretty near future would be my guess.

And, again, you have to make sure that as those things happen, they are governed in a way that drives experience for everyone that’s outstanding.

Allowing AI to deploy your infrastructure could yield cost that you don’t expect to have. Allowing AI to onboard someone could yield, access privileges that you don’t mean to give. So you still have to make sure that it’s appropriate, in in the case, and you need to check it and have checks and balances in place. But I think more and more, you’re gonna see AI taking on those basic tasks.

What is one piece of advice you would give to CIOs and CTOs who are just starting to implement AI driven solutions in their IT environments?

I think my number one piece of advice would be avoid the hype. You see a lot of allegedly cool stuff happening out there. One of the things we do at Appfire both internally and with our products is make sure that any AI driven feature that we introduce to the client base and to our clients themselves or our our, employee base is it has to have value. It has to do something that’s differentiated and meaningful and important.

We don’t wanna be a, hey. We have AI company. We wanna be a, hey. We have AI that really makes your life better.

So we avoid the trends. We avoid the hype. We really examine the use case. We examine the solution, and we make sure that the AI driven solution that we put in place enriches the day to day work life of the folks who are using it.

Any final thoughts, Ed, as we’re closing up here?

I would say my final thought as I look into the future is AI is just gonna get that much more powerful, that much more, intelligent. If you look at quantum computing and some of the things that are coming there and the the intense computing power that’s gonna introduce, AI is just gonna hockey stick in what it’s able to do for us. And and I think it’s important for every IT professional to stay aware of that curve, stay ahead of that curve, and learn how they can use AI to better their business and make them more competitive in the marketplace.

Ed Federici, CTO at Appfire. I wanna thank you, Ed, for sharing your insights on how AI is reshaping IT infrastructure, automation, and decision making, a lot of decision making and a lot of, once again, that learning curve coming into play, a lot of questions about that decision making as we’re we’re seeing as we go on, the more we learn about AI. Thank you so much for being here today. Appreciate your time.

Thank you too. It was awesome. Thanks.

And I wanna thank all of you for tuning in and listening to the Hitchhiker’s Guide to IT. If you enjoyed this discussion, be sure to subscribe for more conversations on the latest trends in IT infrastructure and operations. And then for more information on how device forty two can help you gain visibility and control over your IT environment, you can visit their website. Thanks again for joining us. I’m your host, Michelle Dallmoody. We hope to connect with you on another podcast soon.